寺は、戦国時代に兵火をこうむり、堂塔焼失しましたが、江戸時代には津山藩主森氏の庇護を受け、寛永14年(1637)森長継によって三重塔が再建されました。
その後、元文5年(1740)平尾治郎兵衛による営繕以後修理がかなわず、昭和年代に入り雨漏りが激しく、昭和9年に九輪が崩れ、次第に倒壊しました。
昭和61年5月、その跡に小社殿を建立し現在に至っています。