Hrad byl založen jako gotická pevnost po vzoru francouzských kastelů koncem 13.století, pravděpodobně biskupem Tobiášem z . V barokní rezidenci proměnili v 18.století Vrtbové z Vrtby. Arcivévoda František Ferdinand D´este, který koupil zámek roku 1887 od Lobkowitzů, přebudoval na velkolepé sídlo budoucího císaře. Zámecké místnosti byly vybaveny muzeálními sbírkami, jejichž základ pochází z dědictví Františka Ferdinanda po Modenském vévodovi. Na ploše barokní zahrady byla vybudována tzv. Růžová zahrada se skleníky.