Мартен ван Россем, влиятельный гелдернский военачальник, построил дом в 1535–1540 годах — надёжное жильё для управляющего внутри городских стен. Толстые стены, угловые башни и лестничная башня делают его похожим на маленький замок. В 1599 году в большом зале встречались принц Мориц и Йохан ван Олденбарневелт.
Главное — фасад: херувимы, растительные завитки, мужские и женские головы в профиль, как на римских монетах, а на заднем фасаде — мужчина в тюрбане. По словам музея, это одни из самых ранних образцов ренессансного искусства в Нидерландах.
К концу XIX века дом так обветшал, что не годился даже под склад картофеля и лука и чуть не был снесён. Его спасли Пьер Кёйперс и Виктор де Стюрс; дом купило министерство юстиции и устроило в нём кантональный суд, а после его ухода в 1934 году здесь открылся музей.
Сегодня здесь серебро и монеты Залтбоммела, картины Герарда Хута, рисунок Константейна Гюйгенса-младшего 1657 года, Делфтская Библия XV века. Отдельный зал — Фип Вестендорп, рисовавшей Йипа и Яннеке: часть её комнаты, легендарный чертёжный стол и игровой зал для детей.
1535 — год начала строительства дома
1599 — встреча принца Морица и Олденбарневелта в большом зале
1934 — год, когда в доме открылся музей