
Fu iniziato da Manfredi e continuato da Carlo I d'Angiò, che nel giro di quattro anni (1279-1283) realizzò un'imponente costruzione utilizzando il materiale dell'antica Siponto.
Era dotato inizialmente di cinque torri quadrate (solo una si è conservata) che, dopo appena un secolo, furono trasformate in forma cilindrica.
Nel '400 gli Aragonesi, per motivi di sicurezza, modificarono alcune parti e aggiunsero il recinto esterno e il fossato.
Il recinto fu realizzato con mura ad inclinazione a scarpa e raccordato con torrioni circolari. Il bastione pentagonale, detto all'Annunziata o dell'Avanzata, fu costruito nella prima metà del XVI sec., probabilmente dopo l'assedio del Lautrec (1528).
Nel 1620 il castello cadde nelle mani dei Turchi e in questa circostanza si rivelò non idoneo ad una sicura difesa. Perciò furono ordinati nuovi interventi e fu aperta la porta prospiciente la marina.
Nel '600 e nel '700 la costruzione assolse anche il compito di carcere. Lo testimoniano alcune iscrizioni lasciate dai detenuti sulle pareti.
Nel 1901 il castello fu acquistato dal Comune di Manfredonia e, successivamente, ceduto allo Stato. Attualmente esso è sede del Museo Nazionale del Gargano ed ospita, tra l'altro, le famose Stele daunie che documentano le credenze, i culti e la vita degli antichi Dauni.