Zámek se zbytky hradu Kolštejn tvoří urbanistický celek s budovou bývalého fojtství a farním kostelem městečka . Původní hradní objekt, zmiňovaný poprvé k roku 1325, byl v 15. století rozšířen a přestavěn na dobře opevněný, těžko dobyvatelný středověký hrad. Snaha vytvořit z něj pohodlné renesanční sídlo vedla v letech 1570-1580 v prostoru středního hradu k vybudování jednopatrového renesančního paláce, na který posléze navázala stavba dolního renesančního paláce s dvoupatrovou věží a přízemní jižní částí. Věž, zvaná Černá, se zároveň stala vstupní branou do objektu. Z vnější i vnitřní strany je zdobena pískovcovými portály z let 1597 a 1615. Součástí areálu zámku je fragment mostu vedoucího do hradu přes bývalý vodní příkop. Celý objekt byl dlouhá léta nevyužitý a chátral. V současné době je hrad částečně zrekonstruován a některé jeho části, zahrnující řadu historických i architektonických zajímavostí, si již mohou návštěvníci prohlédnout. Příležitost k nahlédnutí do jeho prostor dává i řada v něm pořádaných kulturních akcí.