開創は元保2年（1616）4月開基は宗残和尚という。 寺伝によれば、領主吉川広正公の時、本誉宗残和尚この寺を開創す、和尚は出雲の人、諸国巡錫を志し15歳の時、西遊して由宇市場に来る。土地の者達、その僧を引止める為、由宇浦に八寸浜の墓所あり、萩蘆叢生し人家散在す。而して一宇の地蔵堂あり。人々これを修理してこの僧を庵主となして住まわしむ。元和2年辰歳、庵主京道、知恩院末寺たらん事を乞って許され、山号を清光山、寺号を浄専寺と呼ばしむ。 この庵主当寺の開山なりとある。