Il castello fu fatto costruire da Ruggero il normanno intorno al 1077, su preesistenti fortificazioni greco-romano. A quel periodo risale, infatti, l’iscrizione religiosa I.C.N.C.R.I., posta sull’architrave di una delle finestre del mastio e che è stata decriptata in due modi. Il primo: “I(esus) C(hristus) N(azarenus) C(rucifixus) R(ex) I(udeorum)” e il secondo: “I(n) C(tristi) N(omine) C(omes) R(ogerius) I(nstruxit)”.  Successivamente il castello fu rimaneggiato da Federico II di Svevia nel XIII secolo.

Data la sua ubicazione, posta sulla sommità di un cucuzzolo e la conseguente impossibilità di isolarla con un fossato, alla fortezza, anziché da un ponte levatoio, si accedeva tramite una grande porta sormontata da due archi a sesto acuto serrata, in caso di pericolo, da una possente saracinesca azionata da un sistema di carrucole che scorreva in verticale all’interno di una intercapedine ricavata tra il portale interno e quello esterno. Il castello era circondato da una doppia cinta muraria di cui rimane solo qualche traccia ed aveva cinque porte d’ingresso, tre delle quali nel cuore del centro storico. L’impianto è abbastanza unitario, poco rimaneggiato dopo l’epoca normanno-sveva ed è leggermente ruotato in direzione nord-est/sud-ovest. Possiede tre torri angolari, una cilindrica (ovest) e due quadre (est, sud) mentre una quarta torre (quadra) esistente nell’angolo nord è probabilmente crollata nel secolo XVII. Nessuna delle torri quadre supera in altezza il terrazzo sommitale del torrione cilindrico, ancora oggi il punto più alto della città.

L’11 dicembre 1441 nel castello di Salemi si formò una confederazione costituita da Salemi, Trapani, Mazara, Monte San Giuliano, Castelvetrano e Partanna, che si impegnava alla difesa della regina Bianca d’Aragona.

Nel 1789 fu adibito a carcere, e il 14 maggio 1860 sulla torre tonda di questo castello Garibaldi issò la bandiera tricolore, proclamando Salemi “capitale d’Italia” (per un giorno) e la dittatura garibaldina. Dal 1934 divenne biblioteca comunale.

Danneggiato dal terremoto del Belice del 1968, fu chiuso per 35 anni per restauri e lavori di consolidamento e riaperto nel 2002.

Oggi è sede museale e vi si svolgono concerti e convegni.