Этот особняк в стиле французского барокко был спроектирован для Адольфа и Альмы де Бретвиль Спрекелс архитектором Джорджем А. Эпплгартом, выпускником парижской Школы изящных искусств. Ради красивого вида на залив Сан-Франциско и мост Золотые ворота Спрекелсу пришлось приобрести и несколько дорогих соседних участков. Альма настояла на том, чтобы сохранить восемь из стоявших там викторианских домов, поэтому все они были разобраны, перемещены в другое место и снова собраны.
Адольф Спрекелс был сыном Клауса Спрекелса, сахарного магната и предпринимателя. Их обширная семейная бизнес-империя простиралась от плантаций сахарного тростника на Гавайях до сахарного завода в окрестностях Салинаса, штат Калифорния, а также включала в себя доли в железнодорожном бизнесе и даже курорт к югу от Сан-Франциско.
Альма происходила из гораздо более скромной семьи. Она была дочерью бедных датских иммигрантов, питала любовь к красоте и изящным искусствам и проводила много времени с местными художниками. Она неплохо зарабатывала в первые годы работы натурщицей, особенно прославившись фигурой, венчающей памятник Дьюи на Юнион-сквер. По легенде, Адольф увидел готовую статую и потребовал встречи с женщиной, по образу которой она была создана. Они поженились, когда ему было 50, а ей 24.
Адольф скрыл от Альмы, что у него была третья стадия сифилиса, и рассказал о своём состоянии только после рождения первого ребёнка. К счастью, инфекция не распространилась ни на Альму, ни на их троих детей. Болезнь, однако, иногда вызывала у него сильную чувствительность к внешним раздражителям. Чтобы помочь снять остроту этих приступов, Альма убедила городские власти переделать улицу, прилегающую к дому, в результате чего машины были вынуждены ехать медленнее, и Адольфу было легче переносить уличный шум.
Альма унаследовала богатство Адольфа после его смерти в 1924 году. Он оставил ей состояние, эквивалентное 100 миллионам долларов, сделав её самой богатой женщиной на западе США. Она использовала эти деньги на поддержку изобразительного искусства, покупая работы современных художников, среди которых был Роден и импрессионисты.
После смерти Альмы особняк разделили на четыре квартиры. Однако он был снова объединён после того, как его выкупила писательница Даниэла Стил. Она окружила дом гигантской живой изгородью, а также, по слухам, получила по всей округе более 25 разрешений на парковку для гостей, что впоследствии якобы стало причиной холодных отношений с соседями.
Великолепный белый фасад дома отделан известняком, не самым удачным материалом для туманных холмов Сан-Франциско. Он постоянно крошится из-за местного климата.