Этот дом был построен в первой половине XIX века для коменданта Нью-Йоркской (Бруклинской) военно-морской верфи, которая когда-то была главным местом производства американских военных кораблей. В то время комендантом являлся небезызвестный Мэтью Колбрайт Перри.
Сегодня, несмотря на облупившуюся краску и некоторые поверхностные повреждения особняка, Дом коменданта остается достойной, хотя и выбивающейся из общей картины, частью района Винегар-Хилл.
Его анахроничная архитектура в федералистском стиле вызывает любопытство жителей районов DUMBO и Винегар-Хилл. Предполагается, хотя и не подтверждено, что Дом коменданта спроектирован Чарльзом Булфинчем, который считается первым архитектором-уроженцем Соединённых Штатов. Особенности планировки дома вызывают вопросы и любопытные аналогии: например, почему размеры овальной столовой, кажется, точно соответствуют размерам Овального кабинета?
С момента закрытия Военно-морской верфи в 1964 году особняк находится в частной собственности, хотя выглядит необжитым. Лучший вид на уединённый Дом коменданта открывается с Эванс-стрит, где через высокие ворота часто можно увидеть коллекцию ретро автомобилей, припаркованных во дворе.
В 1974 году Дом коменданта получил статус национального исторического памятника. Официальное признание особняка достопримечательностью связано с тем, что в нём проживал коммодор Мэтью Перри, проводивший переговоры и подписавший в 1854 году со стороны США Канагавский договор с Японией, который в итоге открыл японские порты для международной торговли, положив конец её изоляции.