芙蓉園因館內遍植芙蓉，故名芙蓉別館。它最初的主人——南宋陳韡(wěi)，官至參知政事(相當于副宰相)。明朝末年，主持朝政10多年的內閣首輔葉向高告老還鄉后，也曾在此居住達7年之久，還專門請人前往太湖，運來了太湖石作為假山。

　　  讓芙蓉園成為福州四大園林之一的，是清朝光緒年間的湖南布政使龔易圖。據悉，龔易圖曾在福州營造東西南北四大園林。

        當年，他在今西湖賓館所在地造三山舊館，稱北莊；而后又在烏山西南(現在氣象局內)修雙驂園，稱西莊；而他在東南方所建兩園就是芙蓉園中的武陵別墅和芙蓉別島。