I pareri sulla data di costruzione di Castel del Monte sono estremamente discordi. L'unico documento certo è relativo ad un decreto inviato da Federico II a Riccardo di Montefuscolo, giustiziere di Capitanata, e datato 28 gennaio 1240. In questo scritto, l'Imperatore ordina di predisporre tutto il necessario per la costruzione di un castello nei pressi del Santuario del monastero di Santa Maria del Monte (oggi scomparso). Alcuni studiosi, tuttavia, non sono concordi e ritengono che la costruzione del castello fosse giunta, in quella data, già alle coperture.
Nel 1256, Manfredi, figlio di Federico, lo utilizzò come prigione per alcuni sudditi ribelli. Nel 1249, il castello ospitò i festeggiamenti per il matrimonio di Violante, figlia naturale dell'Imperatore, con Riccardo conte di Caserta.
Sembra certo, comunque, che il castello sia stato luogo di prigionìa per i tre figli di Manfredi, ivi richiusi da Carlo d'Angiò nel 1266, alla caduta degli Svevi.
Castel del Monte, ad esclusione di alcuni brevi periodi di feste, fu spesso utilizzato come carcere.
Fu anche luogo di soggiorno di Ferdinando d'Aragona, nel 1495, prima di essere incoronato re delle due Sicilie e di Barletta.
Successivamente, fu annesso al ducato di Andria, divenne proprietà di Consalvo da Cordova e, nel 1552, dei Carafa conti di Ruvo.
In seguito, durante l'epidemia di peste del 1656, il castello divenne rifugio per numerose famiglie andriesi.
Dal XVIII secolo, senza più alcuna custodia, fu teatro di sistematiche devastazioni, depredato di arredi e marmi e occupato da briganti, pastori, profughi politici.
Finalmente, nel 1876, lo Stato italiano lo acquistò per una cifra irrisoria e lo salvò dal degrado totale, sottoponendolo ad una serie di restauri che gli hanno restituito una parte del primitivo splendore.