修験道の開祖とされる役行者が開き、天長元年（824年）弘法大師によりお堂宇が建立されたと伝えられている。本堂には無実の娘を火あぶりの刑から救ったという伝説にちなみ「身代わり地蔵」という呼び名で親しまれている地蔵菩薩立像（重要文化財）が安置されている。また、境内にはシダレザクラが植えられており春には見事な花を咲かせる。宇陀川対岸には日本最大の線刻磨崖佛（みろくぼさつ）がある。