南都東大寺大仏殿の再建を成就して大勧進職であった俊乗房重源は師匠の法然上人を御導師として請じ建久6年3月大仏殿の落慶法要を修せられた。その際、法然上人は連日、念仏の当代的意義のみを宣布され帰路の途につかれたが。これに対し法然上人の話に期待が外れ、落胆した何百人もの大衆が一団となり法然上人を追跡、大和と山城の国境で「只、念仏の意義のみの話で、なぜ法相華厳などの他宗義には触れなかったのか」と迫ったところ、法然上人は、念仏が他の諸行より勝れ、その功徳が広大である訳を述べ、それが真実であることを証明し、大衆の疑問を除くために、一枚の紙に「南無阿弥陀仏」と六字の御名号を記し、傍らに在った大きな石と掛合い量り、「この名号の功徳の大きいことは石より重い」と数珠を爪繰ると、不思議なことに石は次第に上がり御名号はついに地面についてしまった。この奇瑞を目前にした一同は、異口同音に念仏を高らかにお唱えしたという。この後法然上人は近くにあったこの安養寺において二日三夜の別時を修し、近隣の村々の大衆を御化導された。

安養寺は仏教最盛の時代、天平8年に聖武天皇が寵愛した僧侶である行基菩薩が、霊夢により導かれたこの地に自らが彫った一刀三礼荒木尊像を本尊として安置し創建された。以来数百年間荒廃していたが、法然上人の弟子である安楽房がそれを嘆き、再建され中興の祖となった。
当初は州見山阿弥陀寺と号していたが、知恩院第36世の尊空上人により現在の安養寺の号を附せられた。