Fondato nella prima metà del XIV sec. da Francesco I Ventimiglia, Conte di Geraci, il castello di Gangi sorge sul Monte Marone. Appartenne alla famiglia dei Ventimiglia fino al 1625, prima di entrare in possesso della famiglia Graffeo e, dopo qualche anno, della famiglia Valguarnera. Nel corso del Seicento subì diverse modifiche che lo resero più simile a un palazzo nobiliare che a un castello. Successivamente rimase abbandonato, e poi fu utilizzato come carcere, finché non fu in possesso dalla famiglia Milletarì la quale, tutt’oggi ne mantiene parte della proprietà. La rimanente parte è ritornata in possesso di un ramo cadetto della famiglia Ventimiglia. La facciata del prospetto principale, volta a sud-ovest, su piazza Valguarnera, è compresa su due vecchie torri rimaneggiate ed è ornata da un ampio portone bugnato. Il piano nobile è caratterizzato da una fila di balconi con ringhiere in ferro battuto. A nord, il castello si affaccia a strapiombo sul Viale delle Rimembranze.
Per realizzare l’acquedotto comunale, nel 1931 è stata abbattuta l’ala sinistra del castello, mentre l’ala destra, in cui si trova l’antica cappella del castello, anch’essa restaurata, è divenuta negli anni la Chiesa del Monte. Ad essa è annesso il convento dei Frati Minori.
Tra gli anni ’60 e ’80 il castello ha ospitato istituti scolastici.