1778 és 81 között épült Heffele Menyhért tervei alapján, Batthyány József esztergomi érsek rendeletére és költségére. A kastély Szent György szökőkútja eredetileg Forgách Ferenc érsek díszkertjéből került ide, amelynek hírnevét Lippay György érsek alapozta meg. A kert megszüntetése után a szökőkút először egy polgári családi ház kertjében kötött ki, később a város ajándékba kapta, végül a palota udvarán helyezték el. A palota első emeletén található Tükörteremben 1805-ben írták alá a Pozsonyi békét az austerlitzi csata után. Ugyanitt ajánlotta fel Széchenyi István birtokainak egyévi jövedelmét a Magyar Tudományos Akadémia megalapítására. Az 1848–49-es forradalom és szabadságharc leverését követően Haynau táborszernagy szintén itt írta alá a magyar forradalmárok fölött kimondott ítéleteket. A palota legfontosabb látnivalója a 17. századi angol gobelinek gyűjteménye, amely (görög mitológiai) Leanderosz és Hero szerelmi történetét ábrázolja. A palota egyes részei ma múzeumként funkcionálnak.