说起茂名,那家都应该知道潘茂名这个人。潘茂名,潘州(今高州市)人,永嘉中入山,遇仙翁点化,授其长生不老之法。他按其仙翁指点,采药炼丹,救苦救难,最后乘坐石船飞升而去。潘茂名飞升仙去后,当地群众创建有10多座不同风格的纪念建筑,以志纪念。其中较有代表性的有:东山的东山寺,潘坡的潘仙亭,笔架山的潘仙亭,城西的仙易亭,观山的潘仙殿等。潘仙祠是潘茂名综合型的纪念建筑,原为潘仙亭,始建于明代天启元年(公元1621)。崇祯十年(公元1637),扩其亭为潘仙祠。潘仙祠原为单进建筑。祠前面建有广福庙。广福庙前有潘茂名的石船丹灶遗迹。潘仙祠原与石船丹灶相隔,灵气不通,而且祠路要从冼太庙左边进入,又为冼庙所压。后来,为了开通气脉,便将广福庙迁走,原广福庙址归入潘仙祠,专祀潘仙,以翕聚一邑之灵秀。修建后的潘仙祠,共分三进,总进深47米,面阔9.5米。正殿为双层楼阁式建筑,中殿和前殿为抬梁式木构架结构,右侧廊庑与冼太庙相通。潘仙祠前殿外的空旷地上,有潘茂名的石船丹灶遗迹。在丹灶上部盖有一亭,称“炼丹亭”。石船丹灶遗迹与潘仙祠连成一体,形成一个统一的建筑群体。石船丹灶是潘仙祠中的重要景观。停靠在潘坡丹灶旁的那条石船,长八尺五寸,宽四尺。船两端翘起,中间稍凹。由于常年停靠在野地上,以致石船全身都长满翠绿色的苔藓。毛茸茸的苔藓,包裹着一条神秘的石船,形成一个特殊的奇特景观,这个景观称作“石船苍藓”,是过去高州八景之一。