Музей назван в честь тилбургского юриста и предпринимателя Яна де Понта. Незадолго до смерти в 1987 году он завещал часть состояния на поддержку современного искусства. Музей открылся 12 сентября 1992 года без готовой коллекции и без денег фондов и государства — и до сих пор финансово независим.
Домом стала шерстопрядильня Thomas de Beer: в 1960-х Ян де Понт помог ей подняться после банкротства, а в 1989 году фабрика закрылась. Здание купили за символическую сумму, и четверо из шести последних работников прядильни стали первыми сотрудниками музея.
Бюро BenthemCrouwel полтора года перестраивало фабрику, взяв за основу её исходный характер. Получилось 6000 м², которыми, по словам музея, вдохновлялись и создатели Tate Modern в Лондоне. Дневной свет через пилообразную крышу заливает большой зал, а маленькие «wolhokken» — комнаты для тишины и сосредоточенности.
Музей собирает художников «в глубину»: следит за ними годами и от каждого старается получить хотя бы одну ключевую работу. На открытии было около десяти работ трёх художников, сейчас — больше тысячи работ примерно ста авторов.
1992 — год открытия музея
6000 — м² в бывшей прядильне
1000 — с лишним работ в коллекции