Около 1115 года, вероятно Госевейн I, построил на вершине Хейнсберга первую крепость — прямоугольную башню с пристройками, земляными валами и частоколом. Замок много раз осаждали и разрушали, но до 1672 года каждый раз отстраивали. 10 декабря 1672 года его взорвали по приказу штатгальтера Вильгельма III, чтобы он не достался французам.
По руинам ходят самостоятельно: рыцарский зал, оборонительная башня, донжон, бывшая капелла, артиллерийская комната и подземные ходы. По словам музея, это самые большие руины замка в Нидерландах и единственная в стране крепость на возвышенности (hoogteburcht).
Пещеру Fluweelengrot вырубили люди: каменоломы веками добывали здесь мергель. На стенах — рисунки и скульптуры XIX–XX веков, есть капелла XVIII века. Внутрь пускают только с гидом, экскурсия выходит прямо к руинам, а в пещере круглый год 12 °C.
1115 — год, около которого построили первую крепость
1672 — год, когда замок взорвали
12 — градусов в пещере круглый год