中世山城の清色城を背景に、その山裾に領主館（お仮屋）を置き、東を流れる樋脇川（清色川）との間の平地につくられた。河川を天然の堀に見立てて、その内側に集住地を配したのは、軍防を主とした戦国期の城下形式の代表的な例の一つ。領主館の前方に中世の町割り、近世の町割りが連続し、あふれる緑と玉石垣群や生垣等が調和するなか、武家屋敷が整然とたたずむ。屋敷は外から見えないように設計、建築されている。