Původní biskupský hrad byl založen před polovinou 13. století. Po požáru v roce 1547 jej Jan mladší Popel z Lobkovicz nechal přestavět na monumentální renesanční sídlo. V letech 1623–1945 patřil areál rodu Trauttmansdorffů a od roku 1945 je ve vlastnictví státu. Součástí správy památky je také téměř čtyřicetihektarový park, kostel Všech svatých v Horšově a kostel sv. Anny na Vršíčku; celý areál je od roku 1996 národní kulturní památkou.
