荒沢寺の境内は羽黒山登山口の近くにある。
由来は、崇峻天皇の代（587年）聖徳太子の従兄、蜂子皇子の草創と伝え、羽黒山の奥ノ院として女人禁制の聖域であった。皇子は、能除照見大菩薩と称され、南都諸大寺の法門に帰依し、法名を弘海と号した。諸国修行の途にあって怪鳥に案内され、羽黒山に登り、出羽三山を開いたという。
その後、白鳳年間に役行者小角が入峯、大同元年には弘法大師が掛錫されたことを伝えている。