從十九世紀末開始,饒宗頤文化館現址先後成為海關分廠、華工屯舍、檢疫站、監獄、傳染病醫院和精神病療養院等等。儘管角色不同,用途迴異,全都是回應當時社會的需要。

建築群現活化為一個地標性的文化平台,活化後改建成各類設施,繼續為文化交流盡一分力。