Музей основан 26 ноября 1842 года — один из старейших в Нидерландах. Сначала ему дали несколько залов в Масляной бирже на Wijnstraat, в 1904 году он переехал на нынешнюю Museumstraat и с тех пор вырос больше чем вчетверо.
Здание — бывший монастырь святой Агнессы, основанный около 1350 года. После 1572 года здесь были чумной дом и сиротский приют, в XVIII веке — заведение для душевнобольных. В 2008–2010 годах музей перестроил архитектор Дирк Ян Постел, и с 2010 года в него снова входят через сад, как в 1904-м.
В коллекции — шесть веков живописи: дордрехтские мастера Альберт Кёйп и Фердинанд Бол, крупнейшее в мире собрание Ари Шеффера и самое большое и разнообразное собрание ученика Рембрандта Самюэла ван Хогстратена; из художников XX века — Ян Тороп, Пейке Кох, Карел Аппел и Армандо.
1842 — год основания музея
1350 — около этого года основан монастырь, где стоит музей
6 — веков живописи в коллекции