约于公元前2000年夏少康时，封此地为任国。秦称任城县。　后周广顺二年（952年）置济州，设治于巨野，任城县属济州。北宋仍之。金朝天德二年（1150年）迁济州治所于任城。后或在任城或在巨野几经变迁，终因任城地势高亢可防水患，遂得安宁，而于元至正八年（1348年）定治于此，是为济宁得名之由来。
明洪武元年（1368年）改济宁路为府，仍治任城。后降济宁府为州，任城遂废名入济宁州。
清雍正二年（1724年）改为直隶州，领三县直属山东省。
1913年改直隶州为济宁县，先后属岱南道、济宁道等，至抗战胜利后，属第二督察专员公署。
1946年1月济宁第一次解放，以城区和郊区划为济宁市。同年9月被国民党军队占领，又复为县。
1948年7月重获解放，仍称济宁市。此后屡经变迁：1949年分属于鲁中南行署的尼山、台枣两个专区。
1950年行署撤销后，尼山、台枣两专区合并为滕县专区。
1953年滕县专区与湖西专区合并，改为济宁专区，辖十四个县市。
1958年曾与菏泽合并。
1959年济宁、菏泽两个专区又在原来的基础上分开。
1983年10月济宁地区撤销，济宁市升为省辖地级市，撤销济宁县，将其辖区并入济宁市。济宁地区的兖州、曲阜、邹县、嘉祥、金乡、鱼台、微山等7个县划归济宁市；原济宁地区的汶上、泗水2县划归泰安地区。
1985年3月22日，国务院批准将原泰安地区的汶上县、泗水县划归济宁市管辖。
1989年12月2日，国务院批准将菏泽地区的梁山县划归济宁市管辖。
1992年3月1日，撤销兖州县，设立兖州市。
1992年10月4日，撤销邹县，设立邹城市。
1993年12月14日，济宁市郊区更名为济宁市任城区。