回雁峰为南岳七十二峰之首。古人一直认为，北来的大雁南飞至此处便不再南飞了，只等来年春天再飞回北方，故名回雁峰。杜甫曾写过“万里衡阳雁，今年又北归”。回雁峰靠近湘江之滨，在衡阳湘江上的公路、铁路两用桥附近。站在回雁峰上，不仅可俯瞰大桥，还可纵观衡阳城全貌。

回雁峰为中华寿岳“无量寿佛”的供奉点，有诗云“欲往祝融拜圣帝，且来雁峰谒寿佛。”景区是集锦式的古典园林，有衡阳市城标——雁雕、千年古刹——雁峰寺、衡州八景之冠——雁峰烟雨、潇湘八景之一——平沙落雁、衡阳标志性建筑——回雁阁、王船山出生地纪念馆等主要景点。

回雁峰上有一座古刹名雁峰寺，迄今已有一千五百多年的历史，正门悬挂赵朴初书写的“雁峰寺”。泥金横匾。寺院分前后两殿：前殿为观音殿，供奉着观音菩萨；后为寿佛殿，金刚台上端坐着3米高的寿佛。它与花药寺、西禅寺、罗汉寺并称为衡阳佛教禅宗四大寺院，历代有不少高僧都曾来此参禅。