Дом впервые упоминается в 1333 году как жилище каноника капитула Святого Серватия, который передал его герцогу Брабантскому. Когда титул герцога унаследовал будущий император Карл V, ставший и королём Испании, дом постепенно стали звать Spaans Gouvernement. В 1519–1550 годах здесь не раз останавливались Карл V и Филипп II.
В 1913 году здание выставили на торги, часть его снесли. Остальное спас Виктор де Стюерс: он отреставрировал дом и подарил его городу, чтобы здесь был городской музей. С 1973 года в доме работал музей Spaans Gouvernement, позже — Museum aan het Vrijthof; в 2010–2012 годах здание снова реставрировали и расширили.
С сентября 2019 года это фотомузей. Он частный и не получает государственной субсидии. Дважды в год здесь большая выставка известного фотографа с сопутствующей программой; по словам музея, сквозная тема выставок — общественная значимость.
1333 — год первого упоминания дома
1973 — год, когда в доме открылся музей
2019 — год, когда музей стал фотомузеем