Нейенхёйс — хавезате, укреплённая дворянская усадьба: владение ею открывало семье дорогу в рыцарское сословие Оверэйссела. Первое упоминание — 1382 год, старейшая часть дома, вероятно, XV века. Здесь жили семьи Ван Иттерсюм, Бентинк и фон Кнобельсдорф. Роберт ван Иттерсюм около 1580 года встал на сторону восстания против Испании и после проигранной битвы у Гора три года провёл в плену.
С 1687 года Роберт ван Иттерсюм и Элеонора София Бентинк перестроили дом и парк: появились прямые аллеи, каналы и длинный пруд за домом. Около 1800 года часть сада переделали в английском пейзажном стиле, а в 1896 году с южной стороны пристроили восьмигранную и квадратную башни — тогда дом и стал похож на замок.
В 1934 году семья Ван Палландт продала имение, и здание пришло в упадок. Коллекционер и бывший директор музея Бойманса Дирк Ханнема убедил провинцию Оверэйссел спасти замок; с 1958 года он жил здесь со своей коллекцией и сам водил гостей. После перестройки по проекту Гуннара Даана замок с сентября 2004 года полностью открыт для публики.
Вокруг замка — сад скульптур: декоративные сады чередуются с лесом, а работы взяты из собраний Museum de Fundatie, Museum Beelden aan Zee и провинции Оверэйссел — от конца XVIII века до наших дней. По словам музея, это один из крупнейших и самых необычных садов скульптур в Нидерландах.
1382 — год первого упоминания усадьбы
1896 — год, когда пристроили две башни
1958 — год, когда Дирк Ханнема поселился в замке