十九岁入浙江省立第一师范学校求学,得陈子渊、李叔同等人指导,勤学苦练,将画、诗、书法、金石熔于一炉,书画都达到了炉火纯青之境地,二十七岁就任上海美专、新华艺学校中国画教授,后任浙江美术学院院长。 潘先生国画造诣精深,传统根基深厚全面,博采众长,汲取精华,然后淋漓尽致地发挥自己的个性及独有天赋,另辟蹊径,自成一家。他充分发挥中国画表现方法以线为主的特长,汲取书法“屋漏痕”、“折钗股”的手法入画,运笔苍劲泼辣,用墨注重黑白对照,构图豪放奇崛、疏密相适。其笔下的山川草木、鸟兽虫鱼,都予了蓬勃倔强的生命力,风骨遒劲、诗意盎然;指墨画独步画坛,沉郁古拙,气势恢宏;书法风格豪迈朴茂,真草隶篆,无一不精。他也精通画史、画论、且著作颇丰,有《中国绘画史》、《中国画院考》、《中国书法史》等。他一生从事中国画教学,为中国美术教育事业的发展作出了卓越的贡献。
潘先生的代表作有《松鹰》、《秋夜》、《和平鸽图》、《睡猫》、《铁石帆运图》、《露气》、《欲雪》、《纪写百丈岩古松》、《小篷船》、《雁荡山花》、《雨霁》、《泰山图》等等。