Замок стоит в Хелмонде почти 700 лет. По исследованиям здания и по займу, который Лодевейк Бертаут ван Берлар взял в 1331 году под залог замка, музей датирует его основание примерно 1331 годом. Это единственный квадратный замок в Северном Брабанте и крупнейший сохранившийся квадратный замок на воде в Нидерландах.
В ночь с 10 на 11 февраля 1549 года в замке вспыхнул пожар и повредил деревянные перекрытия и полы. Йост ван Кортенбах восстановил его и превратил суровую крепость в роскошный жилой дом — по образцу двора Карла V в Брюсселе.
Замком владели семьи Ван Берлар, Ван Кортенбах, Ван Арберг и Вессельман ван Хелмонд. 1 марта 1921 года ключи получил город: после реставрации здесь в 1923 году открылась ратуша, а 17 октября 1929 года — музей.
Выставка «Het Kasteelverhaal» рассказывает историю этих семей — о власти, любви, войне и обмане. На подлинном чердаке можно узнать, как случился пожар 1549 года, а в саду вокруг замка стоят скульптуры Аристида Майоля и других мастеров.
1331 — примерно этим годом музей датирует замок
1549 — пожар, после которого крепость стала жилым домом
1921 — город получил ключи от замка