Stavbu renesančního zámku zahájil Kryštof z Gendorfu v roku 1546. Původně byl zámek obklopen vodním příkopem. Novorenesanční vstupní rizalit byl přistavěn podle návrhu Josefa Schulze koncem 19. století V zámku dnes sídlí městský úřad. Veřejně přístupná je vstupní hala se čtyřmi obrazy posledních krkonošských medvědů (uloveni v letech 1665, 1693, 1701 a 1726). V zasedací síni se dochovala renesanční majoliková kachlová kamna, zdobená biblickými náměty a datovaná roku 1545. Okolo zámku se rozkládá anglický park, který prošel po roku 1998 rekonstrukcí v duchu původního návrhu. Na okraji zámeckého parku stojí ústřední budova Správy Krkonošského národního parku.