Считается, что первоначальная каменная крепость замка Йестер была построена до 1267 года сэром Хьюго де Гиффардом, внуком первого лэрда Йестера. Он служил стражником у юного Александра III Шотландского и имел репутацию мага и некроманта, которого называли «Колдуном из Йестера».
Считалось, что именно в подземелье замка Колдун практиковал свою магию. Хронист XIV века Иоанн Фордунский упоминает большую пещеру в замке Йестер, которая, как полагают местные жители, была образована с помощью магии. Также ходила легенда, будто Хьюго, заключив договор с дьяволом, смог собрать собственную магическую армию. Именно эта армия хобгоблинов, как считается, отстроила замок Йестер.
Сегодня от замка мало что осталось, но неплохо сохранился подземный Зал гоблинов (Goblin Ha’). Вот, что пишут об этом зале на сайте Королевской комиссии по древним памятникам Шотландии:
«На западной стороне крепости лежат остатки нескольких построек высотой не более пары метров. В самом северном из них есть лестница, ведущая вниз в Зал гоблинов, продолговатое помещение размером 11×4 м, облицованное камнем.
Зал гоблинов, предположительно, датируется XIII веком, а западные помещения, вероятно, были построены в конце XIV века, в то время как каменная кладка окружающих стен, по-видимому, относится к XV веку».