Na počátku 14. stol. Jan z Michalovic postavil na levém břehu Labe u Staré Boleslavi tvrz. Tu marně dobýval r. 1317 i Jan Lucemburský. V 15. stol. za Tovačovských byla tvrz rozšířena o nový palác a přestavěna na menší gotický hrad. V 16. stol. byl hrad stavebně upravován a prodloužen západním směrem. V r. 1547 hrad získal král Ferdinand I. Habsburkové pokračovali v přestavbách hradu a postupně jej přeměnili v reprezentační renesanční zámek s oborou a parkem, v němž byly umístěny různé stavby. Fasády zámku byly vyzdobeny bohatými sgrafity. Přestavby byly dokončeny koncem 16. stol. Za třicetileté války zámek velmi utrpěl a byla zničena většina zahradních i hospodářských staveb. V 18. stol. zámek sloužil jako lovecké sídlo a druhé patro bylo přestavěno na důstojnické byty. V r. 1873 byla v romantizujícím slohu přestavěna věž a brána zámku. Od r. 1921 na zámku sídlila Správa státních lesů. Část zámku dnes slouží muzejním účelům. Brandýský zámek je čtyřkřídlá budova s hranolovou věží a s arkádami v západním křídle nádvoří. Na všech stěnách jsou zlomky několika vrstev figurálních a ornamentálních sgrafit.