天正16年（1588年）から明治初期まで、飫肥藩伊東氏の5万1000石の城下町として栄えた。飫肥城は城下から一段高い丘陵上に位置し、その周囲に上級家臣、城下に中・下級家臣の町家という、地割りが今も残る。現在は、復元された飫肥城大手門、本丸御殿の松尾の丸をはじめ、藩校や武家屋敷などが点在して、九州の小京都とも呼ばれる。各屋敷には石垣と生け垣、格式に応じた門が配され、地方城下町の典型ともいえる景観が楽しめる。