Kunstmuseet er bygget op omkring en stor samling værker af det danske kunstnerægtepar der begge var aktive i Cobra-bevægelsen.

Museets cirkulære hovedbygning, der er beklædt med Carl-Henning Pedersens farvestrålende fabeldyr i blå kakler, blev opført i parken ved kunstsamleren Aage Damgaards skjortefabrik, der i 1976 var under omdannelse til kunstmuseum.

I 1992-1993 blev museet udvidet med en tilbygning formet som et tresiddet prisme - en mægtig bjergtinde ved siden af den runde hovedbygning. Prismens ene side er af glas, mens de to øvrige er beklædt med blå keramiske fliser ligeledes malet af Carl-Henning Pedersen. Gennem prismen trækkes lys ned i selve udstillingslokalet, der befinder sig under jorden og består af et kvadratisk rum, der via en underjordisk gang er forbundet med hovedbygningen. Geometrien spiller sammen med de øvrige bygninger i kultur- og undervisningsområdet Birk Centerpark, Herning, hvoraf C.F. Møller har tegnet de fleste.

I 2009 fik museet ekstra plads i det tilstødende Herning Kunstmuseum, og den seneste udvidelse fra 2015 tager form under jorden og forbinder museets i alt tre dele. Et 15 meter langt vindue i græsplænen, der skaffer dagslys til de nye udstillingsarealer, er eneste markering i terrænet af udvidelsen.