湖心亭原系明代嘉靖年间由四川布政司潘允端所构筑,属豫园内景之一,名曰凫佚亭。清乾隆四十九年(公元1784年),布业商人祝韫辉、张辅臣等人集资在凫佚亭旧址上改建成湖心亭,作为布商行人聚会议事之场所。
建成年八月,清朝文渊阁大理寺卿陆锡熊省亲来到此地,用秀美笔迹写下《湖心亭碑记》一文赞许湖心亭胜景。后人赞其行文酣畅,将通篇文字凿刻于石碑之上,立于湖心亭内。