Stavbu si objednal a financoval vzdělaný pan Jan Šembera Černohorský z Boskovic, ve své době jeden z nejbohatších moravských šlechticů. Studoval v Itálii a Vídni, honosil se vysokými dvorskými tituly, ale znám byl především jako milovník světských radovánek, znalec koní, excelentní jezdec a velký příznivec umění. Vzdělání a bohatství mu umožnilo nejen stavbu, ale i výzdobu zámku objednat u prvotřídních umělců, takže celý čtyřkřídlý zámek se třemi patry arkád a komponovanou zahradou skvěle reprezentoval postavení rodu i pana Jana Šembery.

S jeho krásnou dcerou Kateřinou vyženil panství Maxmilián z Lichtensteina. Za něho byla v letech 1635-37 na nádvoří umístěna nádherná manýristická kamenná kašna, provedená Petrem Maternou podle návrhu Giovanniho Giacoma Tencally a přistavěny 4 rohové věže s kovovými "lucernami". Ty však pro velkou tíhu musely být z věží postupně sejmuty. Obrannou kvalitu prokázala stavba v roce 1645, kdy ji hrstka vrchnostenských úředníků, myslivců a měšťanů ubránila proti početnému švédskému oddílu.

 
Od roku 1681 přestal zámek sloužit pobytu panstva a stal se administrativním centrem panství a od roku 1720 sídlem centrální lichtensteinské účtárny. Od té doby žádné závažnější stavební úpravy nenarušily jeho italský renesační charakter.