堂宇は天正年中、会見郡尾高村に源光寺と称して存在せしが、慶長7年、城主中村伯耆守が廣誉十頑上人に帰依し、浄財を以って米子に寺を移し、心光寺と称し、後跡尾高村に堂舎を建立し、源光寺とせり。故に、心光寺開山は廣誉十頑上人とする。
慶長7年、開山廣誉上人の時建立せし堂宇は寛延年中に失火焼失し、宝暦6年本堂を再建す。因伯城主、松平勝五郎公の代なり。天保9年庫裡を再建す。昭和45年本堂類焼し、昭和49年に本堂を再建する。また境内には庭園があり、この庭は、江戸時代初期の作庭で廻遊式庭園、別名書院式庭園ともいわれ、石組等、よくその特徴を表わしており、全国名庭の一つとして有名です。