陣屋とは、江戸時代に郡代・代官が治政を行った場所で、御役所や郡代（代官）役宅、御蔵などを総称して陣屋と呼ぶ。飛騨代官は安永六年（1777）に飛騨郡代に昇格し、当時3ヵ所あった郡代役所（関東・西国・美濃）と並んで幕府の重要な直轄領となった。幕末には全国に60数ヵ所あったと言われている郡代・代官所の中で、当時の建物が残っているのはこの高山陣屋のみである。全国で唯一建物が現存する遺構で、昭和4年には国史跡に指定された。