Konstmuseet har byggts upp kring en stor samling verk av det gifta danska konstnärsparet, där båda var aktiva i Cobra-rörelsen.

Museets cirkulära huvudbyggnad pryds av Carl-Henning Pedersens färggranna sagodjur i blå kakel. Byggnaden uppfördes i parken vid konstsamlaren Aage Damgaards skjortfabrik, som 1976 byggdes om till konstmuseum.

1992–1993 utökades museet med en tillbyggnad formad som en tresidig prisma – en mäktig bergstopp vid sidan av den runda huvudbyggnaden. Prismans ena sida är av glas, medan de båda övriga är klädda med blå keramiska flisor som också är målade av Carl-Henning Pedersen. Genom prisman släpps ljuset in i själva utställningslokalen, som ligger under mark och består av ett kvadratiskt rum som förbinds med huvudbyggnaden via en underjordisk gång. Geometrin samspelar med de övriga byggnaderna i kultur- och undervisningsområdet Birk Centerpark, Herning, varav C.F. Møller har ritat de flesta.

2009 fick museet extra plats i det angränsande Herning Kunstmuseum. Den senaste utbyggnaden från 2015 ligger under marken och knyter samman museets sammanlagt tre delar. Ett 15 meter långt fönster i gräsmattan släpper in dagsljus i de nya utställningslokaleran. Fönstret är det enda spår av utbyggnaden som märks i terrängen.