Στο μεσαίωνα Annecy ήταν μητροπολιτική πόλη Της γενεύης του νομού, και δεσπόζει στο κέντρο του Annecy κάστρο ήταν η έδρα του женевских παραστάσεων. Το κάστρο χτίστηκε το ΧΙΙ αιώνα στην περιοχή του φρουρίου, που χτίστηκε τέσσερις αιώνες νωρίτερα. Στο XIII αιώνα, έγινε ο τόπος κατοικίας των μελών графской επώνυμο, αργότερα πέρασε στην παραλία Савойским.

Στο μεσαίωνα το κάστρο αρκετές φορές уничтожался πυρκαγιάς, αλλά κάθε φορά, μειώνεται, όλο και πιο ενισχύοντας την άμυνά της. Ωστόσο, παρά το πάχος των τοίχων, το απειλητικό βλέμμα και η βολική τοποθεσία στην κορυφή ενός λόφου, στο πρώτο μισό του XVII αιώνα, το κάστρο έχει ληφθεί από τον γαλλικό στρατό. Στο XVII αιώνα στο κάστρο υπήρχαν στρατώνες και αποθήκη, ένα χρόνο ακόμη και υπηρέτησε ως καταφύγιο για τους άστεγους. Μόνο στη μέση του ΧΧ αιώνα, το κτίριο είχε χαρακτηριστεί ως ιστορικό μνημείο και σήμερα σε αυτό στεγάζεται το μουσείο, στο οποίο μπορείτε να δείτε τα έργα τέχνης και αντικείμενα από διάφορες εποχές.

Ένας από τους διάσημους κατοίκους του κάστρου ήταν ο Ρόμπερτ Γενεύης - родивший εδώ στο 1342 έτος γιος του κόμη Амадея III. Ο ρόμπερτ Γενεύης είναι επίσης γνωστό με το όνομα антипапы Clement VII – αρκετά воинственного και βίαιο, που ονομάζεται χασάπης και εκτελεστής για τις μεθόδους εργασίας με τους στασιαστές. Κατά το δεύτερο εξάμηνο του XIV αιώνα στο καθολικό κόσμο είχε δύο μπαμπάδες – ένα επίσημα ο εκλεκτός Urban VI και το δεύτερο, ο εκλεκτός кардинальской "αντιπολίτευση" Κλήμης VII, ο οποίος ήλπιζε να λάβει Ρώμη, τη δύναμη και την ανατροπή Urbana VI. Έχοντας αποτύχει να την πείσω, антипапа Κλήμης εγκαταστάθηκαν στην Αβινιόν, στο οποίο κάποτε τοποθετήθηκε παπική κατοικία.

Μετά το θάνατο του Clement VII στο 1394 έτος Annecy ήταν ενωμένη με Савойей και έχει χάσει το καθεστώς της πρωτεύουσας του νομού, και την λίμνη Της γενεύης του νομού δεν έχει γίνει. Χάρη παραλία Савойским το κάστρο έχει αποκτήσει το πιο όμορφο πύργο του Перрьер.

Σήμερα το κάστρο περιβάλλεται από όμορφους скверами και άλλα ιστορικά αξιοθέατα. Με τα τείχη είναι ορατό ίδια την πόλη και τη λίμνη Annecy.