浄土宗の寺として開かれたのは、約750年前の1248年のこと。浄土宗第三祖記主良忠（きゅしゅりょうちゅう）上人が、京都から関東に下向の折り立ち寄って、伊勢路の念仏根本道場としたことによる。
しかし寺の開創はさらに500年以上さかのぼる、737年のことで、小野の湊（現在の寺の近く）に現れた如意輪観音に深く帰依した聖武天皇が、一寺を創建し観音寺と名づけたと伝えられている。
この開創に由来する如意輪観音の像は現在も本堂内にまつられている。特徴的な山門は徳川時代の念仏僧、関通（かんつう）上人に由来するもので、龍宮型桜門と呼ばれている。関通上人は約270年前にこの寺を訪れ、念仏を弘めており、後人がその遺徳をしのんで門を建立したという。また、同じ念仏者の徳本行者（江戸後期）や山崎弁栄上人（明治時代）も寺を訪れたという記録が残っている。
開山の良忠上人が残した「記主念仏」という伝承念仏が檀信徒の間に残されて、毎年8月のお盆に奉納されているのも、貴重なものとなっている。