由来記によると、後白河天皇の御宇、百済国より本吉郡志津川町水戸辺浜に仏像が漂流。三条重信と称する従士が霊感を得て横山「中ノ森」に堂舎を建立して安置す。中ノ森は現地より600メートルの山中で、現在は奥ノ院と称している。当時は明王山金剛寺と号し真言宗の道場であったが、永正元年（1504年）横山村館主男沢蔵人が禅刹に改め、白魚山大徳寺と呼称するにいたった。
大正十五年に起きた付近の出火に遭って類焼した。像は災禍から免れたが、多少の傷を負ったのが惜しまれる。現在の堂は昭和三年に再建した。本林流宝塔造りという希な建築様式を伝えている。
参道の小川には、ウグイが群生し、昔から不動尊の御使姫として保護を受けている。ウグイは昭和十年に天然記念物に指定された。