唐伯虎点秋香的故事被民间不断传播，其实真实的唐伯虎穷困落魄不风流，而秋香则是个大他十多岁的青楼女子。
唐伯虎晚年住在苏州桃花坞，取名为“桃花庵”，还做了一首《桃花庵歌》，此馆取其意境，还一个“桃花庵主”；梦墨堂的名称来历是唐伯虎曾在桃花庵中造了一个梦墨亭；六如堂是唐伯虎中年取号“六如居士”，因此得名。
其实，真实的唐伯虎并非风流潇洒，他二十九岁赴南京乡试，得中第一名解元，因牵涉科场舞弊案，被株连下狱，后谪为吏，一生坎坷，贫困潦倒，靠卖画为生，擅绘山水花鸟、仕女人物。而秋香确有其人，是当时颇有名气的青楼女子，比唐伯虎大十几岁。“唐伯虎点秋香”尽管是民间传说，但依然流传千古，经久不衰。人们宁可接受虚构的唐伯虎的艺术形象，而不愿接受只是才子并不风流的真正的唐伯虎。
　　公元一五二三年，只活了五十四岁的唐伯虎去世，因家境清贫，葬于桃花坞故居之后，嘉靖二十二年移葬今址。一代才人，死后寂寞，四百多年间，唐寅墓日渐荒芜，直到上世纪五十年代，在墓区筑池亭、树石坊。一九八五年，恢复旧观，增筑桃花仙馆、梦墨堂、六如堂等。次年又在墓南开辟唐寅纪念陈列室，连同墓冢一起以“唐寅园”的名字对公众开放，以示追思，勉励后人。
　　一九九三年，在唐寅园西侧兴建了一个占地一点五万平方米的“秋香园”，冷落了许久的唐伯虎终于有了秋香的陪伴，五百年后“破镜重圆”。有人评价，秋香园的兴建，给寂寞的大才子多了一点温暖和关爱。