「大谷家由緒実記」によると、大谷家の初祖和田九左衛門尉良清は、和田瀬兵衛永順の嫡男玄番に、和田姓を大谷（大屋）玄番と名乗らせ、伯耆国尾高城の家老の上席に身を置き、城主杉原盛重に出仕。後熟慮の末、武士道を捨て隠士となる。
玄番の甥大谷甚吉は、玄番の2児を守り、伯耆米子にて廻船業を興し、竹島を発見開発す。大谷家の祖は、戦国時代初期は和田姓を名乗っていた。和田家は和泉国の豪族であったが、応永の乱（1399）で敗れ、一族の殆んどが絶えて了い、大谷の祖、和田九左衛門尉良清一人辛じて生き残り、木曽福島家に召されたが暇を乞うて立ち去り、但馬国大屋谷に蟄居し、死去す。
2代和田瀬兵衛永順（源光寺開基）は、山遊と号し、玄番の住む尾高を好んで住み、此の地に浄土宗源光寺を建立した。と記されている。したがって、確かな創立期は不明なれど、建立者が永禄4年（1561）正月26日に没しているところから、それ以前と推察される。