八栗寺は四国第八十五番の霊場と共に歓喜天霊場として知られ、淳和天皇の天長六年（西紀八二九年）の創建で、弘法大師空海の開基といわれ、寺伝によれば大師がこの山に登って求聞持の法を修せられた時、五ふりの剣が天降り山の鎮守蔵王権現が現われ「この山は仏教相応の霊地なり」との御神託を蒙り五剣を中嶽に埋め大日如来の像を刻み山の鎮護としたので五剣山と名づく。大日如来の像は今も現存する。山頂に登って四方を展望すれば八か国が望めたので八国寺といわれたが延暦年中大師が再びこの山に登り入唐求法の前効を試みるため植え置かれた焼栗八つが帰朝後に悉く生長繁茂しているのをみて八国寺を改め八栗寺とよばれるようになった
。
降って天正年間長曽我部元親の軍勢が八栗城攻略の時兵火のため全焼したが文禄年中に無辺上人が本堂（三間四面）を再建。
更に寛永十九年藩主松平頼重侯が現在の本堂（五間四面）を再建し大師作の聖観自在菩薩を本尊としで安置し院観自在院と称するようになった
五剣山は昔は文字通り五つ峰があったが宝永三年の大地震により東の一峰が中腹より崩壊し現在の姿になったと言われる。然し現代の本堂並びに二天門は宝永六年藩主松平頼豊侯再建と棟札にある。