四国霊場第85番札所。天長6年（829年）、弘法大師空海の開基。本尊は聖観世音菩薩。寺伝によれば、お大師様がこの山で修行したとき、五本の剣が天降り、それを山の中嶽に埋めて鎮護としたので、五剣山と名づけられた。また、山頂から八ヶ国を望むことができ、八国寺と呼ばれていたが、入唐求法の効果を占うために植えられた八つの焼き栗が帰朝後ことごとく成長繁茂していたので、八栗寺と名を改めたという。境内には商売繁盛の霊験あらたかな「聖天さま」が祀られ、正月には多くの初詣客が訪れる。