寨下仙寺始建于何年失考，据清.光绪11年出版的《耒阳县志》记载：康熙五十八年，耒阳知县张应星游览此山，誉为蓬莱仙岛，并为修缮此庵作序。康熙六十年岁次辛丑仲春月，重建寨下仙寺并立下碑记，可惜碑文有部分字迹脱落，无法辨认。1927年在此设农民协会，农军成功袭击常宁烟洲挨户团，为革命事业作过贡献。1958年破除迷信解放思想，寺庙被拆除。1991年11月当地人集资在原址重建，为三顶六厢砖瓦结构。