Era stato costruito con l’obiettivo di realizzare il “Palazzo più bello di tutta la cristianità”. Oggi ospita il Comune ma si può visitarlo su appuntamento. Degni di nota sono il cortile d’onore con le decorazioni originarie del 1560, e la Sala delle Feste (o sala Alessi) con affreschi mitologici, Sant’Ambrogio e la scrofa semilanuta.
