Впервые Verwolde упоминается в 1346 году. Около 1500 года имение взяли войска епископа Утрехтского, дом снесли, укрепления срыли. Нынешний дом построили в 1776 году по заказу Фредерика Виллема ван дер Борха и Софии Юлианы ван Рехтерен, и, по словам музея, всего за девять месяцев. Их потомки жили здесь до конца XX века.
В 1926 году дом обновили: пристроили башню, провели электричество, центральное отопление и телефон, поставили пассажирский лифт и улучшили комнаты прислуги в нижнем этаже. Тогда же садовый архитектор Хуго Портман разбил вокруг дома геометрический сад во французском стиле.
В 1977 году последний владелец передал дом и сад фонду Geldersch Landschap & Kasteelen, а в 1982 году их открыли для публики. Многие вещи — фамильные портреты, сервизы с монограммой, детские игрушки — из прежней обстановки дома. В Китайской комнате сохранилась единственная в доме подлинная отделка стен: расписные холсты 1778 года.
1776 — год постройки нынешнего дома
9 — месяцев, за которые построили дом
1982 — год, когда дом открыли для публики