Rudolf z Býnova nechal postavit před rokem 1600 na místě původní tvrze renesanční zámek. Jeho stavitelem byl Hans Bog z Pirny. V průčelí starého křídla, které je spojeno se zámeckým kostelem chodbou, jsou sluneční hodiny s datem 1603 a latinským nápisem "Soli deo Gloria" - Slunci budiž sláva! Po bitvě na Bílé hoře odcházejí Býnovští zpět do Saska. V držení se střídají tyrolský rod Thun - Hohensteinů (do 1647), hrabata z Althanu (do 1680) a hrabata Cavriani. V roce 1730 byl zámek přestavěn v barokním slohu Ludvíkem Richardem Cavrianim. Roku 1754 bylo zadlužené panství prodáno v dražbě hraběti Janu von Hartigovi, který je opět dál prodává 1795. Jako pátý v řadě dalších kupců se jmenuje Jindřich hrabě Kolowrat - Krakovský - Novohradský. Narodil se 27. 1. 1826 v Jindřichově Hradci, zemřel 1904 v Krásném Březně. V 19. století byla budova rozšířena o nové křídlo s balkonem. Po Kolowratech (1879 - 1911) se ujímá panství hrabě Skrbenský, manžel Malvíny Kolowratové (zemřela 2. 6. 1932). Zámek obýval až do roku 1945, kdy byl odsunut. Pak byl zámek pronajat skautům, ale než se zabydleli, převzala ho ČSD pro své úřadovny. Zámecký kostel sv. Floriána byl postaven v letech 1597 až 1603 rovněž Hansem Bogem z Pirny. Opravován byl 1897 a 1926. Stavbou silnice i následným sesuvem půdy se jeho vchod dostal pod úroveň terénu. Tato překrásná stavba saské renesance má pozdně gotické kružby, síťovou žebrovou klenbu a portály s diamantovým řezem. Hlavní oltář pochází z roku 1605. V posledních desetiletích se občas vyskytly pokusy kostel zachránit.
Nejstarší částí zámku je podélné křídlo u kostela sv. Floriána. Jako náhradu původního sídla panství (hradu ) vzniklo na přelomu 16. a 17. století. V 18. století vznikla novější část. Tzv. nový zámek má čtvercový půdorys kolem centrální dvorany, v nárožích stojí válcové věže s cibulovými báněmi. Je rovněž jednopatrový, stojí ale na zvýšené terase, přístupné po hlavním schodišti od jihozápadu. Okolní park, vybavený řadou zahradních stavbiček (mj. vyhlídková věž), byl významně zasažen stavbou nové komunikace do Neštěmic za II. světové války. V současné době v majetku Národního památkového ústavu, připravuje se rekonstrukce.