奈良時代、聖武天皇の頃（724〜748）行基菩薩（ぎょうきぼさつ）という名僧が諸国巡回の際、秩父の地に立ち寄り苦行練行していたところ、栃樹の上に聖観音菩薩が現れ、行基に御告げをした。その御告げに従い、行基は観音像を彫刻し、岩窟の中に留め置いたと伝えられている。 　その後、永延2年(988)に、播磨国円教寺の性空上人（しょうくうしょうにん）の弟子幻通（げんつう）が、上人の遺命により秩父の地に赴き、四万部の経典を読経し経塚を築いたとされている。四萬部寺とうい寺名はそれに由来される。岩窟に安置されていた観音像を本尊として本堂を建立した。