Mohutný zámek je dominantou .

Na místě skalnatého ostrohu nad řekou se však kdysi tyčil velkolepý hrad. Byl asi 40 metrů dlouhý a 15 metrů vysoký, jeho zdi byly silné 2 metry a byly zpevněny na severní straně a na nárožích věžicemi. V přízemí stavby byl velký sál, nad ním zřejmě slavnostní síň. Komplex ještě obsahoval menší užitkové budovy na jih od stavby, obehnané hradbou s opevněnou bránou. Tento hrad byl první český kamenný hrad, který nebyl postaven panovníkem.

Z původního hradu se dodnes dochovalo obvodové zdivo a velký přízemní sál, rozčleněný pozdějšími vestavbami. Hrad byl oblíbeným sídlem většiny pražských biskupů, jedním z nich zde měl být vysvěcen na kněze i Jan Hus. Církev ho později prodala Janu Smiřickému, který později, jak se doba měnila, začal s přestavováním, doplňováním a upravováním.

V polovině 16. století přibyla na jihovýchod od hradu nová obytná renesanční budova. Za ní pak přistavěli několik menších objektů spojených s hradem chodbou. Celý prvek byl poněkud nesourodý, takže ho pak nechal Václav Eusebius z Lobkovic přestavět na raně barokní zámek, v jehož podobě zůstal dodnes.

 V roce 1948 byl zámek zestátněn a dlouhá léta sloužil Československé lidové armádě jako sídlo Vojenské konzervatoře Víta Nejedlého, sídlila zde i místní vojenská správa. Zámek patří rodině Lobkowiczů, která jej získala zpátky v restitucích v 90. letech.

V podzemí zámku se rozprostírají sklepy Lobkowiczkého zámeckého vinařství. Víno se na rodinné vinici pěstuje více než 400 let.