Замок веками принадлежал господам и графам ван ден Берг, и каждое поколение его расширяло и перестраивало. Эта история видна и сегодня — в замке её показывают макетами разных этапов строительства.
В 1735 году главный замок сгорел полностью. После пожара в нём уже никто постоянно не жил, а с 1799 по 1842 год здесь была семинария. В 1912 году замок в плохом состоянии купил текстильный фабрикант из Энсхеде Ян Херман ван Хек — и поселил в нём свою коллекцию.
В 1939 году замок снова выгорел; жители 'с-Херенберга спасли большую часть коллекции. Ван Хек сразу начал восстановление, а в 1946 году передал замок, коллекцию и поместье фонду Huis Bergh.
В коллекции около 15 000 предметов: «Ангел» Дуччо, «Брак в Кане» последователя Босха, средневековые рукописи. После реставрации 2023–2026 годов в замке новый вход через подвал, четыре новых зала и больше рассказа о жителях и городе.
15000 — предметов в коллекции
1912 — Ян Херман ван Хек покупает замок
2026 — 17 сентября замок вновь открыт после реставрации