Sin apenas vestigios de momentos anteriores, el cuerpo principal se debe al infante Juan de Castilla "el de Tarifa", hijo de Alfonso X de Castilla , quien levantó un castillo de dominio feudal que le permitió controlar la villa de manera efectiva. Partiendo de su testamento, el castillo debió ser construido antes de 1319, siendo de doble muro, del que se conserva el lienzo sur, con tres torres, y el inicio del lienzo este con la puerta principal. La torre del ángulo posiblemente era la torre del homenaje.3
En el siglo XV, Alfonso de Valencia llevó a cabo obras de refuerzo del castillo, adaptando la vieja fortaleza del siglo XIV al empleo de la artillería.3
Emplazado en la esquina noroeste de la villa, se compone de parte del recinto de los siglos XII y XIII, el cuerpo principal de finales del siglo XIII y principios del siglo XIV, y una barrera artillera levantada a finales del siglo XV.3
El conjunto contó con un foso, del que aún quedan restos, y se situaba sobre una pequeña elevación. Está constituido por dos recintos en forma de trapecio irregular. El recinto exterior es de mampostería con cubos en los ángulos, dos de los cuales aparecen reformados para la instalación de artillería. En sus muros se abrían dos puertas, una para acceder a la villa y otra para acceder al puente.3