夏尔·莫里斯·塔列朗诞生在巴黎一个古老的贵族家庭里。他的祖先从十世纪卡佩王朝建立时起就已经是宫廷贵人了。按血统来说，他的父亲同国王路易十六还是表兄弟！
塔列朗尽管出身名门，然而他的童年却是不幸的。父母按照当时法国贵族的生活方式，整天忙于社交活动，只顾自己寻欢作乐。小夏尔出生不久便被寄养在巴黎郊区的奶妈家里。两岁时，他从高柜子上摔下来，把右脚摔伤了。过了好几个月，父母才知道这件事，可是残疾已经造成，他成了一个终生只能借助拐杖走路的跛子。从此，父母更加不喜欢他了。四岁时，他被寄养在外省的一个亲戚莎莱夫人家，父母也很少接他回家。又过了两年，仆人把他从莎莱夫人家直接送到了巴黎的一所寄宿学校——父母竞没想到应该先让孩子回家来见见面！小夏尔坐了十七昼夜的驿车来到陌生的新天地，孤苦伶丁，举目无亲，只能思念着唯一对他慈爱的莎莱夫人。此情此景，使他终生难忘。他刚满六岁，就在校住读，每周只探望父母一次，极少在家过夜。六年后，他又染上了天花，父母既不探望他，也不接他回家养病，只让仆人把他送到奶妈家，病愈后又送回了学校。夏尔在学校，整天沉默寡言，郁郁不欢。他因身体残废，自惭形秽，不愿交朋友，但又感到孤独，缺少爱抚和温暖。慢慢地，他萌发并滋长了对父母和亲属的怨恨。他决心用自己的智力来战胜自己的不幸，并且胜过周围的人。
应该说，这段童年和少年时代的生活，对塔列朗日后冷酷无情，孤傲自信性格的形成，产生了重要影响。
十五岁时，夏尔中学毕业，父母没跟他商量一下，就把他送进了圣·秀尔比斯神学院。夏尔的哥哥童年就已夭折，所以夏尔已经成为长子，可是父母却剥夺了他承袭爵位和财产的长子继承权，硬要让他当神甫。当时，一般贵族青年所追求的是充任荣耀显赫的军官或大有油水可捞的文官，而夏尔因右脚残废无法当军官，父母又不肯出钱给他买文官，于是，当神甫就成了他的唯一出路。人们给他披上神学院学生的长襟黑袍，他心中愤恨不已。他是多么希望去过世俗贵族的享乐生活啊。在神学院的五年里，他仍然很少说话，不爱交友，既孤单又苦恼，把空余时间都消磨在图书馆里。当时能够找到的革命书籍，包括卢梭、伏尔泰的著作，他都读过。他从这些书里，小心地选择自己所需要的东西。他向往个人的自由和欢乐，渴望摆脱贵族家庭和教会对他的束缚。