Les restes d’aquest castell, es troben al cim d’una penya granítica al n. de Santa Llúcia, dominant estratègicament els colls de la Serra de l’Albera.
L’edifici de carreus escairats, conserva el portal d’entrada, l’escala d’accés restes d’una torre triangular. També hi ha restes de la capella dedicada a Sant Romà
El Castell sembla que fou enderrocat el 1138 com a resultat d’un enfrontament entre el comte Ramon Berenguer IV de Barcelona i Ponç II d’Empúries, i refet al mateix s. XII. Tingué encara un paper destacat en la guerra contra el rei de França Felip l’Arditt, el 1285. El rei Jaume I hi sojornà, convidat per Dalmau de Rocabertí senyor de Peralada (crònica de Ramon Berenguer).