Počátky panského sídla v místech zámku lze podle archeologických nálezů datovat do konce 13. století. Vodní hrad prošel několika přestavbami ve 14. i 15. století. Zásadní přestavbu podnikli po roce 1491 páni z Pernštejna. Pernštejnové přestavěli celý areál původního hradu na palác s čtyřkřídlou dispozicí, který již vyhovoval nárokům pronikajícího renesančního stylu života aristokracie. Kolem paláce a dvora s hospodářskými budovami bylo vybudováno nové mohutné opevněni. Vznikl tak přechodný typ mezi hradem a zámkem. Pozoruhodný fortifikační systém s hliněným valem a hradbou na úpatí se dochoval dodnes. V současné době sídlí v prostorách zámku v Pardubicích.