Na místě dnešní Galerie moderního umění na Velkém náměstí stály do roku 1910 tzv. Caivasovy měšťanské domy postavené v klasicistním slohu. V roce 1910 byly zbořeny a v letech 1911 - 1912 byl na jejich místě postaven Záložní úvěrový ústav, později přeměněný na Českou průmyslovou a hospodářskou banku. Po 2. světové válce zde byly umístěny kanceláře Československé autobusové dopravy a Zemědělského závodu a později i Muzeum revolučních tradic východních Čech. Adekvátní využití tohoto monumentálního paláce přišlo až po roce 1990, kdy zde byla umístěna Galerie moderního umění.
V interiéru budovy je dominantní vestibul, stěny jsou obloženy tmavohnědým mramorem, strop tvoří prosklená tabulková vitráž. Na podlaze je terasso se skleněnými tvárnicemi a mozaikou v geometrickém vzoru. V ostatních prostorách je většinou bílá výmalba a jemná geometrická štuková výzdoba, aby dominantní byly výstavní exponáty. Okna z chodeb do světlíků jsou zdobena rostlinnou a geometrickou vitráží.
V objektu jsou kromě stálé expozice českého výtvarného umění pořádány i příležitostné výstavy, přednášky a další kulturní akce.