Výstavba zámku započala za Vratislava z Pernštejna roku 1568 a trvala třináct let, tedy do roku 1581. Stojí pravděpodobně na místě starého hradu, doloženého již z Kosmovy kroniky a sloužil samozřejmě především jako reprezentační sídlo zdejšího panstva. Jedná se o stavbu se čtvercovým půdorysem ve stylu italské renesance, přizpůsobené však českým poměrům. Jeho největší chloubou je sgrafitová výzdoba, kterou zde najdeme na všech vnějších zdech i na zdi nádvoří (zde najdeme v českých zemích vzácná figurální sgrafita). Právě díky skutečnosti, že se zde víceméně kompletně dochovala původní podoba zámku z 16.století, byl zámek prohlášen národní kulturní památkou a roku 1999 zapsán i na seznam UNESCO. V areálu zámku můžeme např. dále navštívit i budovu bývalého pivovaru, kde najdeme rodný byt skladatele Bedřicha Smetany, a také zámeckou zahradu a park, kde se mj. nachází amfiteátr, určený původně pro konání festivalu Smetanova . Dnes se tento festival koná v letních měsících na druhém zámeckém nádvoří.