Původní hrad nechal postavit ve 14. století Hynek z . Od poloviny 15. století do poloviny století 16., kdy vlastnik rod Trčků z Lípy a Vostrovcové z Kralovic, byl hrad postupně přeměňován na šlechtické sídlo. Zanedlouho bylo sídlo renesančně přestavěno. Od 18. století až do roku 1945 vlastnili zámek Auerspergové, kteří nechali zámek klasicistně upravit. Touto podobou se zámek chlubí dodnes.V expozici zámku se nacházejí původní zbraně, lovecké trofeje dřívějších majitelů, nářadí a oděvy dříve užívané a mnoho dalších zajimavých exponátů, které nám mnoho napoví o minulé době. V údolí řeky přiléhajícím k vlašimskému zámku byla do 18. století obora s lovnou zvěří a zámecká zahrada. V poslední čtvrtině 18. století na jejich místě začali budovat tehdejší majitelé panství Marie Josefa z Trautsonu a její manžel Karel Josef z Auerspergu zámecký park v romantickém duchu. Postupně vznikl jedinečný přírodně krajinářský park doplněný množstvím romantických staveb a zákoutí.