A város fellendüléséért sokat tett Acsády Ádám (1725-1745) majd, Padányi Bíró Márton (1745-1762) püspök, így a protestáns nézeteket valló pápával szemben Sümeg vállt a katolikus szellemi központtá. 1768-ban Mária Terézia úrbéri rendelkezése, illetve az 1809-es francia megszállás kemény adókkal sújtotta a várost. Fejlődésnek 1820-at követően indult, amikor az adóterhek csökkentek, fejlődött a mezőgazdaság, valamint a több évszázados múltra visszatekintő szőlőművelés. Fellendült az ipari tevékenység és elkezdődött a városi polgárság kialakulása. Sümeg 1848-ban szabadult meg végleg a földesúri hatalomtól, de 1853-ban ismét megindult a tagosítás, majd a várost tizenöt tűzvész, szárazság és marhavész is sújtotta. Mindezek következménye az lett, hogy a kiegyezés idejére a város teljesen elszegényedett. Ezen még az sem segített, hogy Ramasetter Vince (1806-1878) hatalmas vagyonát Sümeg városára hagyományozta. Végül 1907-ben a település a városi rangját is elveszítette. Az akkori gazdasági helyzetet jól példázza, hogy 1944-ben ugyanannyi lakosa volt, mint fél évszázaddal korábban. Sümeg gazdasági fellendülése 1960-ben kezdődött, amikor kibővítették a vízművet, valamint járdákat és lakótelepeket kezdtek el építeni. Városi rangját 1984-ben kapta vissza.
A település neves szülötte Kisfaludy Sándor (1772-1844) költő. Legismertebb műve a „Himfy szerelmei”.
A Sümegi vár nem csak a Dunántúlon, de egész Magyarországon a legnagyobb kiterjedésű erődítmény. A tatárjárást követő időszakban a veszprémi püspökség szorgalmazta egy várépítését, hogy biztosítsa a Marcal-medencében elterülő birtokainak a védelmét ott, ahol a katonák könnyen ellenőrizhetik az utakat. A sümegi vár helyén régebben is állt erődítmény, amelyet korabeli dokumentum 1282-ben említ először. Korábban ezen a helyen a mai öregtorony helyén egy kisebb lakótorony és a köré épített szabálytalan alakzatú védőfal állt. 1442-t követően az erődítményt kibővítették, amelynek a belső udvarára építették a püspöki palotát, a különböző lakó- és gazdasági épületeket, valamint a külső és a belső kaputornyokat. Sümeg vára 1552-t követően élte virágkorát, azt követően, hogy Veszprém vára elesett és török kézre került. Ettől kezdve, a település püspöki székhely lett. Bár Sümeg a Dunántúli végvárak egyike volt, a veszprémi püspökök magánváraként a második védvonalból őrizte Magyarország megmaradt területét. Mivel a vár nagyon előnyös földrajzi adottságokkal rendelkező területen épült, a nagyobb léptékű hadi cselekményekből kimaradt, mindössze egy alkalommal, 1664-ben ostromolták meg a Szentgotthárd alól visszavonuló törökök. 1705 és 1709 között ez a vár volt a kuruc hadak egyik legfontosabb dunántúli erőssége. 1709-ben Heister tábornok csapatai elfoglalták a várat, majd 1713-ban felgyújtották. A vár részleges helyreállítására 1957 és 1964 között került sor. A egyik vártoronyban tekinthető meg a vártörténeti kiállítás.
A várhegy nyugati oldalán fekvő települést egykor egy 1,1 km hosszú városfal védte, amelyet valószínűleg a XVII. század első felében kezdtek el építeni.
1656 és 1658 között Széchenyi György püspök már javíttatta, valószínűleg ekkoriban épült a hat kerek torony és a kapuk is. A tornyok az 1701-ben kitört tűzvészben pusztultak el, napjainkban kettőnek láthatóak a romjai, egy pedig a Kossuth utcában áll, de a lakóházzá alakításakor ablakokat vágtak az oldalába. A vár alatti istállóban egy nyereg- és lószerszám kiállítás látogatható meg.
A jelenlegi Mária, a Betegek Orvosa ferences kegytemplom helyén egykor a gótikus stílusú Szent Katalin templom állt, amely a török megszállás idején pusztult el. Miután a régi templomot elbontották, Széchenyi György veszprémi püspök 1652 és 1657 között felépíttette a napjainkban is látható barokk stílusú templomot és épületegyüttest. A rendház, valamint az építészetileg jellegtelen templom egy vidéki kőműves munkája. A templomtorony a későbbi időkben épült, akárcsak a főhomlokzat, valamint a két oldalkápolna amelyek kovácsoltvas rácsai magas művészi színvonalon készültek. Ugyanekkor épült a kórus is, amely valószínűsíthetően a karmelita építész Wittwer Márton műve. A templom átépítésével egy időben került sor a rendház második szintjének a felépítésére is.
A templom főoltára 1743-ban készült, ez Acsády Ádám munkája. Az oltár szobrait Franz Richter készítette. A tabernákulum fölött az 1653-ben készült Pieta-szobor áll, amely az egykori Szent Katalin templom egyetlen megmaradt emléke. A szobor alkotója ismeretlen. A legendáriumok szerint, ezt a szobrot még az 1649-ben idetelepedett szerzetesek hozták magukkal. A Pieta mellett láthatjuk Szent István és Szent László szobrát, az oszlopok között pedig Szent Péterét és Szent Pálét. Ezeket a szobrokat láthatóan egy kevesebb művészi érzékkel megáldott fafaragó készítette. A főoltár lábazatán látható elnagyolt domborművek Krisztus életéből vett jeleneteket ábrázolnak, a készítőjük személye ismeretlen. Az oltár és a szentélyfal között található ajtók fölött Szent Ambrus és Szent Ágoston alakjait szintén Richter készítette. A szentélykörüljáróban, az oltár mögött látható Fájdalmas Szűzanya szoborcsoportot maguk a ferences szerzetesek készítették. A templom szemebmiséző oltárát Rácz Gábor készítette 1970-ben. A szószék Padányi Bíró Márton megrendelésére készült 1760-ban. A szószék négy oldalát az evangélisták faszobrai díszítik, míg a szószékkoronán Szent Mihály arkangyal alakja látható. A szószéktől bal kéz fele áll a Szent Kereszt oltára, a Feszület alatt pedig A Fájdalmas Szűz anya és Szent János apostol alakjai láthatóak. A szobrok Bíró Márton adományai. Az oltárt 1744-ben Festetics grófnő készíttette. A szószéktől jobbra áll Szent Ferenc oltára, amelyet 1757-ben állíttatott Lengyel Lajos. A templom déli oldalán áll Szent Antal és Nepomuki Szent János oltára, amelyet 1750-ben ajándékozott a templomnak Viczay grófnő. Ennek az oltárnak a képét, valószínűleg Dorfmeister István festette. A templom falfestményeit Kontuly Béla készítette. A szentélyben látható ábrázolás a Szent Családot jeleníti meg. A képnek az a különlegessége, hogy Mária kezében az Egyház jelképe, a hajó látható. A szentély többi képén a hét szentség allegorikus ábrázolásai láthatóak, részben a Bibliában leírt módon illusztrálva, részben pedig a képek készítésének az idejében történt eseményekkel, mint például VI. Pál pápa találkozása a konstantinápolyi pátriárkával, vagy a pápa felszólalása az ENSZ-ben.
A templomhajó mennyezetén látható freskók Szűz Mária életének egyes eseményeit jelenítik meg. A mennyezet freskói 1970-ben, valamint 1950 és 1956 között készültek. A Keresztút fából faragott domborműveit, valamint a Jézus Szíve-szobrot 1980-ban készítette Búza Barna szobrászművész. Szent Antal és Szent Teréz szobrai az előbbieknél régebben készültek. A templom orgonája 1733-ban készült, amelyet 1913-ban a neves orgonaépítő Rieger bővített. A templom már 1699 óta búcsújáró hely.
A Vársoi Múzeumot Kisfaludy egykori szülőházában alakították ki. A múzeumi kollekció alapját Darnay Kálmán (1864-1945) hozta létre aki Sümegnek és környékének a régészeti és történeti múltját tárta fel, valamint alapította meg a múzeumot azáltal, hogy felkutatta és megvásárolta Kisfaludy minden fellelhető emlékanyagát. Az idők folyamán Darnay több mint 10 ezer Kisfaludy relikviát gyűjtött össze. Ezeknek az emlékeknek egy jó része megtekinthető a múzeumi kollekcióban. A gyűjtemény a II. Világháború nagyrészt elpusztult, a megmaradt darabokat részint Badacsonyba, részint pedig Sümegen állították ki.
Napjainkban a Kisfaludy-házban a Darnay-emlékkiállítás is megtekinthető. Darnay a Kisfaludy kúrát régebben elcserélte Ranolder veszprémi püspökkel, ezt követően intézői lakásnak használták, azonban 1950-től ismét a múzeumnak ad otthont. A park szélén van felállítva Kisfaludy mellszobra, amelyet Zala megye állíttatott 1880 táján.
