Il Palazzo Ducale, noto anche come "Il Castello", è il monumento più antico di epoca cristiana nella zona. Fondato nel IX secolo da Leone III come presidio del "territorio di San Pietro", soprannominato Leopoli, il castello sorge su un antico Castrum romano del 500 d.C. Circa. Da quando passò ai Duchi di Gaeta nel 915, ha visto numerosi proprietari, tra cui l'abbazia di Montecassino, i normanni di Capua, i Conti dell'Aquila, i Caetani di Anagni, i Conti di Fondi e Traetto, fino ai Gonzaga. Nel 1690, i Carafa Della Spina lo acquistarono, mantenendolo fino al 1946, quando il Principe Giovanni Battista Caracciolo-Carafa lo donò agli Asili d’Infanzia.
Situato ad ovest del centro attuale, il castello di forma trapezoidale si adatta alla conformazione del terreno. Ha due ingressi: il principale a sud-est, fuori dalle mura, e un secondo interno. L'interno presenta un ampio androne, cantine, cucine, stalle e armeria, tutti affacciati su un cortile trapezoidale. La Torre Quadra a nord, danneggiata da un fulmine nel 1853, è probabilmente la parte più antica. Il primo piano, con un loggiato gotico, conduce alla Grande Sala dei Baroni. Il tetto ha subito modifiche, ma conserva tracce dell'antico camminamento di ronda.