A volt püspöki rezidencia épülettömbje a 18. századi magyarországi barokk építészet jól ismert hagyományait követi. Az egyemeletes kastély nyugati főhomlokzata szélesen, 84 méteren terül el a Szepessy park peremén.

Középrizalitja nem emelkedik ki a homlokzat síkjából, de az ott található, a klasszicizmus korai hatását érzékeltető visszafogott díszítőelemek, a vakolatból kiemelt pilaszterek, a volutaszalag, a Berényi-címer és a két, íves bejárati ajtótól közrefogott, impozáns főkapu hangsúlyossá teszik. A kastély épületét nyeregtető koronázza.

A fa főkapun át jutunk a keresztboltozatos, vaskos oszlopokkal tagolt, az udvar felé nyitott aulába. Innen indulnak két irányban a szintén keresztboltozatos földszinti folyosók, illetve az emeletre vezető lépcsőház. Az osztálytermek, illetve a földszinti folyosó északi részén helyet kapó hivatali helyiségek, tanári szobák tengelyre fűzve sorakoznak egymás után, a földszinti osztálytermek némelyikében fiókos dongaboltozatot figyelhetünk meg. Bár a földszinti folyosók az 1934-es Visy-féle tervek szerint árkádosak lettek volna, végül barokkos hangulatú kosáríves ablakokkal zárták le.

Az udvar mai képe nagyrészt az 1983–1984-es tereprendezésnek köszönhető, ekkor alakították ki déli végén a színpadot, északi részében az ösvényekkel tagolt gyepet, amelynek közepén 1985. szeptember 21-én Gábor Éva Mária alkotása, Kisfaludy Károly mellszobra kapott helyet. 2005-ben a Szepessy parkból a gimnázium udvarába helyezték át ifjabb Fekete Géza Leányka könyvvel című szobrát, 2007 májusában pedig Balázs Balázs Nővirág című kompozíciója kapott itt helyet. Az udvart a gimnázium kiszolgáló helyiségei keretezik (konyha, ebédlő, karbantartóműhely stb.)