縁起開基につきましては、江戸時代における2度の大火（延享3年類焼、文政4年出火）により本尊堂宇一切を焼失し、正確な史実は不明であります。

山名氏家臣賀藤金吾久正、発心し心庵休哲と改め、霊巌松風上人の48夜別時念仏に帰依し、浄土門に入り弟子となって唱阿と授与され、念仏怠らぬ一宇を建立し、称名寺と号す。

怨敵身方の亡鬼五逆の雲を晴らさんが為に晴雲院と号す。後に音写の誤りか何かにより清雲院と改まっている。

泊嶋鼻に安置される地蔵菩薩坐像、泊沖合海中より出現され、当時称名寺に安置され後に現在地蔵堂の地へ移された。この御名残りに地蔵山と山号を残された。

禅師御入寂の時期等より推定するに、寛文年間（1661〜1672年）前後と思われます。