万治元年（1658年）薩摩藩主島津家の別邸として建てられて以来、島津本家の邸宅として使用されてきた。2008年で築庭350年を迎える。また、仙巌園を中心とした一帯は幕末から明治にかけ第28代島津斉彬によって興された集成館事業が展開された場所で、近代日本発祥の地として注目を集めている。