Hrad na pískovcové skále při styku tří údolí – , a údolí Černého rybníka, zřejmě založen v 1. polovině 14. století Benešem z Vartemberka, po roku 1414 majetkem Mikuláše Zajíce z Házemburka, na počátku 16. století tehdejšími majiteli panství Šelmberky zbudován nový, tzv. šelmberský palác, po roku 1524 majiteli hradu Bibrštejnové, přístavba paláce dodnes zvaného bibrštejnský. V letech 1632-1634 majetkem Albrechta z , po jeho násilné smrti konfiskován, roku 1635 vyhořel. Od roku 1637 majiteli panství Černínové z Chudenic. R. 1690 starý vartemberský palác vyhořel a zřítil se, na jeho mmístě vystavěna sýpka. Od roku 1738 majiteli panství Netoličtí z Mitrovic, roku 1866 střet rakouských a pruských vojsk u . R. 1872 po zdlouhavých dědických sporech mezi potomky sester Evžena Vratislava Netolického připadla rodině dal Borgo z Pisy, která jej vlastní dodnes. V 50. letech 20. století generální oprava hradu, roku 1964 nastěhována na galerie starých obrazů jako pobočka Národní galerie v Praze.