戦国時代末期から金森氏の城下町として発展し、その後も幕府直轄地として繁栄した。宮川右岸の三町に当時の町割りが残り、上三之町を中心に、低い軒に黒い格子戸の町家が整然と続く。軒が低いのは、陣屋より高い建物が禁じられたためで、財力のある商人たちは奥座敷や蔵に勢を凝らした。この江戸時代からほとんど変わらない情景を舞台に、春と秋、あでやかな屋台が繰り出して豪華絢爛な高山祭が行われる。宮川沿いに立つ朝市も名物。