Το μικρό παλάτι χτίστηκε το 1317. Βρίσκεται στο βόρειο μέρος της πλατείας, απέναντι από την Παπική κατοικία, και ονομάστηκε έτσι, λόγω του μικρού μεγέθους και αξίας, σε σύγκριση με το παλάτι ρωμαϊκά μπαμπά.

Η ιστορία της εμφάνισης туманна: σύμφωνα με μία εκδοχή – χτίστηκε για τον ανιψιό του πάπα Ιωάννη XXII, Arnaud de Via, από την άλλη - χτίστηκε από τον καρδινάλιο Беренжером Φ. Κύριος. Μετά το θάνατό του το παλάτι και τους λόγους αγοράστηκαν καρδινάλιος Arnaud de Via. Στο 1335 έτος De Via πέθανε και το παλάτι κανείς δεν ήταν μέχρι την άφιξη του πάπα Βενέδικτου XII, που και πάλι αγόρασε και μετέτρεψε σε επίσημη κατοικία της αβινιόν του αρχιεπισκόπου.

Το κτίριο έχει σοβαρή ζημιά κατά την περίοδο από το 1396 έως 1411, επειδή θεωρήθηκε οχυρωμένο φρούριο авиньонских μπαμπά. Μετά το τέλος του πολέμου το παλάτι σταδιακά ήρθε σε παρακμή. Κατά το δεύτερο μισό του XV αιώνα ο επίσκοπος Alan de Котиви και τον οπαδό Giuliano della Rovere (που αργότερα θα γίνει Μπαμπάς τον ιούλιο II) αποφάσισε να αποκαταστήσει το κτίριο και το 1503 χρονιά έδωσαν τον σχεδόν πρωτόγονο είδος. Della Rovere έφτασε στην Αβινιόν το 1474 π., έτσι όπως ορίστηκε από τον θείο μου, τον Μπαμπά Сикстом IV, επίσκοπος авиньонским. Θα κτίσουν την νότια και δυτική προσόψεις στο στυλ της ιταλικής αναγέννησης και του 1487 της, και ύψωσε τον πύργο (αργότερα, το 1767 ήταν καταστραφεί).

Κατά τη διάρκεια της γαλλικής επανάστασης το παλάτι έγινε ιδιοκτησία του κράτους, στο ΧΙΧ αιώνα σε αυτό βρισκόταν το καθολικό σχολείο, και αργότερα επαγγελματική σχολή. Μόνο στο τέλος του ΧΧ αιώνα στην περιοχή του παλατιού ήταν ανοιχτό μουσείο.

Το 1958 εδώ βρίσκεται το Μουσείο του Μεσαίωνα. Το 1976 εδώ ήταν ανοιχτή πινακοθήκη με έργα καλλιτεχνών της Αναγέννησης. Σε 19 αίθουσες του μουσείου εκτίθενται, ιδίως τα έργα του Σάντρο Μποτιτσέλι, Таддео Γαδδί, Таддео ντι Μπάρτολο, ο Λορέντζο Μονακό, συμπεριλαμβανομένων εδώ βρίσκεται και το περίφημο "Παναγία" του Μποτιτσέλι.