В 1880-х годах дипломат и торговец Чонг Фатт Цзы (он же — «Рокфеллер Востока»), карьера которого в ту пору была на подъёме, принял политическое назначение в Пенанге и построил дом, который до сих пор превосходит в эстетическом плане все остальные дома Джорджтауна.
«Голубой особняк», как называют это здание сегодня, имеет 38 комнат, сотни окон, семь лестниц (одна из которых привезена из Шотландии), пять внутренних дворов, крыльцо с тонкой, словно кружево, кованой отделкой, и фронтоны, инкрустированные яркой фарфоровой мозаикой. Его архитектура является уникальной для того периода, поскольку она игнорирует тенденцию опоры на англо-индийский стиль, основываясь вместо этого на облике южнокитайских поместий в стиле династии Чжоу.
В выборе цвета, который мог бы противостоять усыпляющему зною Пенанга, Чонг Фатт Цзы остановился на популярном в то время синем. Белого в фасаде намного меньше, поскольку этот цвет традиционно считается в китайской культуре цветом смерти.
Чонг Фатт Цзы жил в доме всё то время, когда у него были дела в Пенанге, хотя он часто бывал в разъездах. Голубой особняк стал, скорее, семейной реликвией: известно, что его особенно любила седьмая жена бизнесмена. В 1916 году Чонг скончался, а в его завещании указывалось, что дом остаётся семейной собственностью. На обслуживание и сохранение особняка была выделена определённая сумма денег, которой пришлось воспользоваться совсем скоро. Здание быстро пришло в негодность, и в некоторых из самых отдалённых и заброшенных его частях поселились сквоттеры.
Со смертью последнего сына Чонг Фатт Цзы в 1989 году разрушенный особняк был выставлен на продажу. Группа местных жителей с благими намерениями выбила с торгов крупные компании, чтобы выкупить и восстановить здание. Реконструкция началась вскоре после торгов.
Сегодня особняк, восстановленный в былом великолепии, переродился в гибрид музея и гостиницы и признан Объектом всемирного наследия ЮНЕСКО. В нём доступны для заселения 16 номеров, и трижды в день для гостей и широкой публики устраивают экскурсии, делая богатство магната доступным для всех.