Předchůdcem zelenohorského zámku byl kostel vystavěný na sklonku 13. století nedalekým cisterciáckým klášterem. Cisterciáci zde využili svatovojtěšskou legendu a nepřístupný vrchol sloužil též jako pevnost, ale počátky opevnění nejsou dosud známy. Vrchol byl roku 1419 obsazen husity. Roku 1436 byla v rukou Hynka Krušiny ze Švamberka. Toho je nutno považovat za hlavního budovatele hradu, který byl centrem obrovského zástavního panství. Roku 1450 přitáhlo k hradu vojsko Jiřího z Poděbrad, ale namísto dobývání se spokojilo s pleněním okolí. Roku 1465 zde byla ustavena Jednota zelenohorská a hrad se opět stal centrem odboje katolické strany. Pro spiknutí proti Habsburkům byla Šternberkům zkonfiskována i a zastavena Zdeňkovi Lvovi z Rožmitálu. Šternberkům však na Zelené Hoře mimořádně záleželo, a tak Adam ze Šternberka vykoupil zástavní zelenohorské panství zpět roku 1536 a do dědičného držení se mu jej podařilo získat roku 1558. V tomto období proběhla renesanční stavební proměna hradu. S novodobou historií zámku je úzce spjat také nález tzv. „Rukopisu Zelenohorského“. V 50. letech 20. století byla na zámku zřízena vojenská kasárna technických praporů, tzv. PTP, vlastní zámek již v 80. letech armáda nevyužívala a chátral. Nikomu snad není nutné připomínat slavný román Černí Baroni, který se zde odehrává a který zde byl i zfilmován. Dnes je hrad v majetku obce , který hledá nové využití. Rozsáhlý areál leží na výrazném vrcholu asi 2 km severně od . Na úpatí návrší je nad raně barokním dvorem s pivovarem zachováno torzo předsunuté mohutné kruhové bašty. Z původního pozdě gotického hradu je zachována celková dispozice, hradby, první brána se sousední válcovou věží a pozdně gotická jádra budov pozdějšího zámku. Na předhradí stojí v jádře raně gotický kostel Nanebevzetí Panny Marie, pozdně goticky a barokně upravovaný. Hrad patří k významným a dosud nedoceněným dokladům pohusitské hradní architektury a také renesančního opevněného sídla.