この地は永禄7年（1564年）、武田の武将飯富昌景が越中（今の富山県）へ進出するために江馬時盛に造らせたもので、野尻城または沖野城と呼ばれていた。江馬氏滅亡後、金森氏は家臣の山田氏に守らせていましたが、元禄 5年（1693年）の金森氏の転封とともに廃城になった。現在の神岡城は、1970年にこの館跡に再建されたものだが、今のように天守閣を備えたものではなく、神岡城の名も、この時に一般町民からの募集によって名付けられたものである。内部には鎧・刀剣・馬具などや、町内で出土した石器・土器が展示されている。