1777-ben, amikor Mária Terézia kinevezte Szily Jánost az új szombathelyi egyházmegye főpásztorának, Szily nagy lendülettel kezdte el az új püspöki székhely kiépítését. A Szeminárium és a püspöki palota tervezésével Melchior Hefele osztrák építészt bízta meg.
Szily János halála után magánkönyvtárát 1791-ben a Székesegyháznak ajándékozta. A könyvtár helyének azonban nem a templomot, hanem a Szeminárium épületét jelölte ki. A gyűjtemény, amit nemcsak a szeminaristák és tanáraik, hanem a városi polgárok is használatba vehettek, tulajdonképpen a város első nyilvános bibliotékája lett, és egyben az ország harmadik nyilvános könyvtára. A könyvtári szabályzat csak helyben használatot engedélyezett – ez a szabály egyébként ma is érvényes. A könyvtárterem és az olvasószoba mennyezete freskódíszítését Dorffmaister István készítette.
1885-ben, Hidasy Kornél püspök megrendelésére az Eiffel Iroda és Ifj. Stornó Ferenc közreműködésével készült el a Szombathelyi Egyházmegyei Könyvtár barokk teremkönyvtára, ekkor az eredeti könyvtárterem már kevésnek bizonyult. A nagyobb terem mennyezetén a négy nagy nyugati egyházatya: Szent Gergely pápa, Szent Ágoston püspök, Szent Ambrus püspök és Szent Jeromos alakjait fedezhetjük fel. Könyvtár napjainkban is folyamatosan bővül: többek között teológiai, egyháztörténeti, művészeti, irodalmi könyveket, lexikonokat, enciklopédiákat gyűjt.