A Kisfaludy Károly Gimnázium 1936 óta az egykori pécsi püspöki kastély barokk épületében működik, amely a városból északi irányban kivezető régi 56-os, illetve a Pécsre vezető 57-es út kereszteződésénél, a Szepessy park keleti oldalában fekszik.

A kastély építéstörténetéről nem sok adat maradt fenn. Egyes feltételezések szerint már a török hódoltság előtt is állt itt főpapi lakhely, erről tanúskodhat Brodarics István 1527-ben megjelent feljegyzése „a püspöknek a város mellett fekvő házáról”.

Ennek helyén építtette fel Berényi Zsigmond pécsi püspök 1740–1743 között a ma ismert kétszárnyas palotát, amely nyári és téli pihenőhelyéül szolgált. A munkát azonban teljes egészében nem fejezte be, erre utal a főkapu felett ma is olvasható, latin nyelvű felirat: „Structore Sigismundo Berenio Patruo | 1743 | Paulo Eszterhazio eius nepote opus coronante”, azaz „Az előd, Berényi Zsigmond tervezte | 1743 | az utód, Eszterházy Pál fejezte be”. Tekintetbe véve Eszterházy Pál László egyházmegyei főpásztorságának idejét, végleges formáját tehát 1787–1799 között nyerhette el az épület. Ekkorra már egész városrész alakult ki a püspöki rezidencia körül, amelyet a korabeli városlakók Új-Mohács vagy Külső-Mohács néven ismertek. A kastély környezetében, szalagtelkeken sorakozó sváb gazdálkodók házai között állt a ma is látható Püspök- vagy Szent Kereszt-templom (1742) a plébániával, valamint a ferences templom és zárda (1771).

Az 1830-as években – a parknak nevet adó Szepesy Ignác püspöksége alatt – Mohács szabadalmas város lett, a püspöki függőség megszűnt, és az épület állaga is jelentősen leromlott. Az 1880-as években merült fel először, hogy a város saját céljaira megvásárolhatná a kastélyt, s a szerződés nyélbe ütése után, 1883-tól a volt püspöki rezidencia telekkönyvi hatóságként és járásbíróságként működött tovább, illetve a kastélyhoz tartozó területen, a mai MTE-pálya helyén egy laktanyát is felépítettek. A kétszárnyú kastélyban a hivatali helyiségek mellett idővel múzeumi bemutatóterem, népkonyha és tisztviselői lakás is helyet kapott. Az 1920-as évekre már inkább gondot okozott, semhogy hasznot hajtott volna a városvezetésnek a nagy költséggel fenntartható épület, így a helyi sajtóban megindult egyfajta társadalmi párbeszéd az épület lehetséges hasznosítási módjairól.

1929-ben a közeli ferences templom szerzetesei vetették fel egy ferences gimnázium megszervezésének ötletét, de pénzük nem volt a kivitelezésre, így kezdeményezésüket a városvezetés tette magáévá. 1934-ben Visy Zoltán tervei alapján kezdetét vette az átalakítás, a homlokzatot felújították, a fazsindelyes tetőt cseréppel váltották fel, a nyílászárókat kicserélték és a helyiségeket is alkalmassá tették a tantermek befogadására. Noha az első tanév 1935 szeptemberében indult, az új iskolaépületet csak egy évvel később foglalhatták el tanárok és diákok. 1937-ben a déli szárnyban kezdetét vette a tornaterem és az internátus kialakítása.

A gimnáziumi épület történetének első nagyobb szabású külső-belső felújításra 1946-ban, majd 1977–1982-ben került sor, legutóbb az 1990-es évek közepén festették újra a gimnázium homlokzatát és cserélték ki az ablakokat.