Ai Pironti successero per brevissimo periodo gli Annibaldi. E nel 1301 fu proprio Riccardo degli Annibaldi a vendere "
tutto il castello di S.Felice [....] la località chiamata Paola e l'altra località chiamata Santa Maria della Sorresca" a Pietro Caetani,
segnando l'inizio di un governo del territorio da parte di questa famiglia che durò, quasi ininterrotto, per più di 400 anni.
Nel 1323 il Circeo, assieme a Sermoneta, S.Donato e Bassiano, passò in eredità al Cardinale Francesco Caetani, che assegnò nel 1324 il Promontorio del Circeo in feudo a Rodoisio, consigliere di Roberto d'Angiò.
Nel 1332, Giovanni d'Angiò assegnava di nuovo il feudo del Circeo alla famiglia Caetani, nella persona di Nicolò I.
Nel 1378, anche se marginalmente, il territorio del Circeo subì gli effetti dello scisma di occidente: l'antipapa Clemente VII, residente presso il castello di Onorato I Caetani conte di Fondi, dichiarò decaduti i diritti di Jacopo Caetani, sostenitore invece di Urbano VI, che era signore dei feudi di Sermoneta, Bassiano, S.Felice e Ninfa, assieme a Francesco e Piero Caetani. Il Circeo, a seguito di queste vicende, rimase sotto il controllo di Onorato I fino alla sua morte nel 1400.
Nel 1401 iniziò per l'area un decennio di dominio diretto della Chiesa, Bonifacio IX vi nominò come castellano un certo Vicariello Verrocchi. Tale sistema di governo diretto venne mantenuto fino al 1411, quando il feudo venne restituito ai Caetani.
Nel 1426 Ruggero I Caetani rinunciò ad ogni diritto su Bassiano, S.Felice, Ninfa e S.Donato a favore del fratello Giacomo IV Caetani, e tale rinuncia venne seguita nel 1432 da quella di Cristoforo Caetani sui feudi laziali, trasformando in questo modo Giacomo IV nel fondatore dei Caetani di Sermoneta.
Morto Giacomo IV nel 1433 gli successe il giovane figlio Onorato III Caetani, dapprima sotto la tutela di Francesco Caetani di Maenza, poi da solo. Il primogenito del fondatore dei Caetani di Sermoneta ebbe a fronteggiare numerose traversie prima di vedere riconosciuto il suo diritto sui feudi aviti.
Nel 1482 il Circeo fu occupato dalle truppe di Alfonso duca di Calabria in guerra contro Sisto IV, poi nuovamente nel 1495 dai francesi di Carlo VIII.
Fu tuttavia alla fine del secolo che la tempesta si abbatté sui Caetani, quando Alessandro VI Borgia, nel tentativo di favorire la sua casata, attuò un attacco sistematico ai danni delle altre dinastie; nel 1499 il papa Alessandro VI attirò a Roma il protonotario Giacomo Caetani, allora capo del casato, lo fece prima chiudere a Castel S. Angelo e poi, dopo averlo accusato di lesa maestà ed aver incamerato i beni della famiglia, lo fece avvelenare. A seguito di ciò Sermoneta, e tutti gli altri feudi appartenuti ai Caetani, furono acquistati da Lucrezia Borgia.
Dopo la morte di Alessandro VI nel 1503 Guglielmo Caetani, figlio di Onorato III ed erede universale lasciò Mantova, dove aveva trovato rifugio presso i Gonzaga, e si recò a Sermoneta dove venne accolto dal popolo esultante. Nel 1506 papa Giulio II concesse il diritto di ricostruire il castello e l'arce, e proprio a questa fase si deve l'inizio del nucleo dell'odierno paese di S. Felice.
