室町前期の応永8(1401)年、西福禅寺という禅宗寺院として開創。天文7(1538)年、浄土宗忠譽英林上人により再興、海雲山般若院向岸寺として今日に至る。

寛文10(1670)年頃から、当地では手漕ぎ舟による網取法での捕鯨が定着した。「鯨一頭で七浦が栄える」とまでいわれたが、大きな富をもたらし、命を捧げてくれた鯨に感謝と慈悲の心をあらわすため、当山5世讃譽春随上人は、「われら人間と同じように極楽に往生し仏果を得てくれるように」との願いをこめて延宝7(1679)年鯨回向法要をはじめた。この法要は捕鯨が世界的に停止されている現在でも、当山の大切な法要として毎年4月下旬前後に勤めている。
当山から徒歩5分のところには、5世讃譽春随上人が隠居所にした清月庵(観音堂ともいう)があり、ここには讃譽春随上人が、捕えられた雌鯨が宿していた鯨の胎児をもらいうけて手厚く葬った鯨墓(重要文化財・右下写真)もある。