出雲街道の宿場町であり、三浦藩2万3000石の城下町。旭川の水運は室町時代末期には開かれていたといい、高瀬舟の北の発着点である勝山は年貢米や林産物などの集積地として賑わった。城下は、城山である太鼓山の南麓に寺町と武家町、西麓に町人町が配された。町並み保存地区を中心に、今も、白壁黒瓦、虫籠窓や格子窓の武家屋敷や商家が残る。高瀬船発着場跡の石畳も約700m残っている。最近では、のれんの町並みとして知られている。