Akik érdeklődnek a történelem iránt, valószínűleg semmi pénzért nem hagynák ki a Pápai Palotát a nevezetességek sorából. Nem is szabad, hiszen ez Európa legnagyobb gótikus palotája egyben Avignon legmeghatározóbb épülete, mely 1309-től volt a pápák rezidenciája. Két fázisban épült, jelentős részét felemésztve a pápai jövedelmeknek, végül 1364-re készült el. A pápák 1377-ben hagyták el Avignon városát és tértek vissza Rómába. Napóleon uralkodása alatt fegyverraktárnak és börtönnek használták az épületet, ekkoriban nagy károkat szenvedett, freskóinak nagy része elpusztult. 1906-ban ürítették ki, ekkortól kezdve nemzeti múzeumként működik. A Palota nagy része ma nyitva áll a nyilvánosság előtt, de helyreállítása a század eleje óta folyamatosan zajlik.
A Pápai Palota mellett található a katedrális, a 12. századi Notre Dame des Doms. Tiszta provanszál-román stílusban épült, de eredeti fénye hamarosan eltörpült a mellé felhúzott Palota mellett. Hogy ezt orvosolják, a 14. században kiegészítették egy kupolával, ami viszont szinte azonnal összeomlott. Tetejére a 19. században egy hatalmas, aranyozott Szűz Mária szobor került, melynek ragyogását több kilóméterről is látni lehet. A dóm belsejében található néhány avignoni pápa sírja.
Avignon egész óvárosát városfalak veszik körbe. A települést már a római időkben is erődített fal védte a támadásoktól, de a lakosság folyamatos növekedésével ezeket a város hamarosan kinőtte. A ma látható falakat VI. Ince pápa emeltette 1355-1368 között. 8, kb. 8 m magas kapuval és 39 toronnyal egészült ki a fal, mely az évszázadok során megrongálódott. A helyreállítást a 19. században végezték.
A történelmi emlékek felkeresése után frissítő sétát tehetünk a Rocher des Doms-on, Avignon dombtetőn fekvő kertjei között, melyek a város legrégebbi részei. Ingyenes kompjáratok közlekednek a Rhone-folyón, melyekkel eljuthatunk az Ile de la Barthelasse szigetre, Európa legnagyobb folyami szigetére, mely otthont ad a város uszodájának, számos kempingnek és étteremnek, valamint kis biogazdaságoknak.