První zmínka o vsi je z roku 1377, z názvu je patrné, že se jednalo o opevněné sídlo, které však po častých změnách pánů pustlo a v 17. století zaniklo. Toto původní tvrziště se nacházelo na pozemku u čp. 15 v obci . Roku 1829 koupila spolu s celým sadovským panstvím hraběcí rodina Harrachů. Těm při správě svých majetků ve východních Čechách citelně chybělo reprezentativní a pohodlné sídlo. Pro stavbu takového sídla byla vybrána lokalita ležící asi kilometr severozápadně od obce na Lubenském vrchu. Stavebníkem byl František Arnošt z Harrachu, hlavní stavební práce probíhaly mezi lety 1839-1854 pod vedením vídeňského architekta Karla Fischera. Stavba byla provedena v romantizujícím windsorském stylu. Zámek je převážně jednopatrový, v půdorysu zalomený, ve středu zámku s polygonálními rizality a převýšenou věží se nacházejí reprezentační prostory. Panstvo a služebnictvo bylo ubytováno v křídlech zámku, západní křídlo je zakončeno věží jednolodní kaple sv. Anny. Na východní křídlo navazuje spojovací chodba vedoucí k užitkovému objektu. Hospodářské a provozní budovy tvoří se zámkem jeden komplex. Na svou dobu to byla stavba velmi moderní, skýtající obyvatelům například luxus topení v podlahách. Většina vnitřního vybavení pochází z celé Evropy a částečně také z Asie a je často mnohem starší než samotný zámek. Za zmínku stojí například sbírka zbraní z 15-18. století umístěná ve vstupní hale. Zajímavostí je také kropenka v kapli sv. Anny, která je vyrobená z istrijského mramoru pocházejícího z patice románského sloupu. Zámecká knihovna obsahuje více než pět tisíc svazků, od starých tisků až po časopisy z 19. století. Na budovu zámku harmonicky navazuje zámecký park o rozloze více než 18 ha. Park, který byl navržen roku 1844 v krajinářském stylu přechází v oboru. V roce 1866 za prusko-rakouské války sloužil zámek jako lazaret. V letech 1911-1912 byl na zámku vybudován vodovod a roku 1914 zavedeno elektrické osvětlení. Po roce 1945 připadl zámek státu. V současné době se budovy rekonstruují. Zámek krom dvou prohlídkových okruhů nabízí možnost občerstvení v restauraci, park slouží jako golfové hřiště a v sezóně se zde koná množství rozmanitých akcí, například provádění návštěvníků v dobových kostýmech.