当山は元淡路国由良にて専称寺と号す。
輝政御室（東照宮第6女）元和元年、京都二条城にて死去、法名良正院殿智光慶安大姉と号す。忠雄公良正院殿の位牌を専称寺へ安置法事執行、忠雄公備前岡山へ国替え、専称寺御供再び新たに再建立。時寛永4年卯2月5日。良正院殿13回忌当日に戒名をもって山号・寺号を改める旨により現在の山号・寺号となる。寛永9年御国替えにて御供し、鳥取に移寺され現在に至る。