Museets sirkelrunde hovedbygning, som er kledd med Carl-Henning Pedersens fargestrålende fabeldyr i blå fliser, ble oppført i parken ved kunstsamleren Aage Damgaards skjortefabrikk, som i 1976 holdt på å bli omgjort til kunstmuseum.

I 1992–1993 ble museet utvidet med et tilbygg formet som et trekantet prisme – en mektig fjelltopp ved siden av den runde hovedbygg. Den ene siden av prismet er av glass, mens de to øvrige er kledd med blå keramiske fliser, også malt av Carl-Henning Pedersen. Gjennom prismet trekkes lys ned i selve utstillingslokalet, som befinner seg under jorden og består av et kvadratisk rom, som via en underjordisk gang er forbundet med hovedbygningen. Geometrien spiller sammen med de øvrige bygningene i kultur- og undervisningsområdet Birk Centerpark, Herning, hvor C.F. Møller har tegnet de fleste.

I 2009 fikk museet ekstra plass i det tilstøtende Herning Kunstmuseum, og den siste utvidelsen fra 2015 tar form under jorden og forbinder de tre delene av museet. Et 15 meter langt vindu i gressplenen, som skaffer dagslys til de nye utstillingsarealene, er den eneste markeringen i terrenget av utvidelsen.