吉川広家が天正19年（1591年）、湊山に四重櫓を建設。慶長6年（1601年）伯耆の国・城主中村一忠が五重の天守閣を建設。五重の大天守・四重の小天守が併設し、名実ともに山陰一の名城となったが、明治7年（1874年）廃城令で取り壊されることとなった。現在は本丸、二の丸、三の丸、石垣などの遺構が残っている。また、城山一帯は湊山公園と呼ばれ、市民の憩いの場となり、桜の名所としても知られ、多くの人で賑わっている。