El castillo del Berrueco, de origen islámico (siglo XII), está situado sobre un afloramiento rocoso, en la cima del cerro de San Antón.
Este castillo es el más importante de los castillos rurales del alfoz o concejo de Jaén. Guardaba los pasos que comunicaban zonas altamente estratégicas como Arjona, Martos, Jaén y Andújar.
Anteriormente la zona estuvo ocupada por asentamientos íberos y romanos.
Desde él, podemos acceder a las torres, subir al adarve que circunda el castillo sobre las murallas y disfrutar de las hermosas vistas que ofrece de los vecinos Jaén, Martos o Arjona.
En torno al castillo, existen muchas leyendas como la historia surgida en el siglo XV, cuando el castillo fue conquistado por el maestre de la Orden de Calatrava, Pedro Girón, en el marco de la guerra civil entre Enrique IV y la nobleza castellana.
Cuenta la leyenda que Pedro Girón, maestre de Calatrava, ofreció al rey Enrique IV dejar de luchar contra él si le concedía la mano de su hermana Isabel, la futura Isabel la Católica.
El rey aprobó el casamiento, aunque el maestre le doblaba la edad a la joven Isabel.
Cuando Pedro Girón acudía a la boda con todo su séquito, se detuvo a pernoctar en el castillo del Berrueco. Aquella noche una gran bandada de cigüeñas estuvo largo rato revoloteando la fortaleza en círculos.
Todos creyeron que aquello era un mal presagio. Continuaron viaje, acampando a los pocos días en Villarubia, donde don Pedro, después de cenar se retiró a dormir y por la mañana lo encontraron muerto.
Algunos pensaban que el rey se había arrepentido de ofrecerle el casamiento con su hermana, otros creen que la causa de su muerte fue la cena y no precisamente porque le sentara mal.
Tras estos hechos, el castillo continuó defendiendo el territorio hasta el siglo XVI, cuando fue abandonado.
Aún así, a sus pies siguió existiendo una cortijada que sobrevivió hasta mediados del siglo XX, teniendo su propia ermita y escuela; lamentablemente hoy en ruinas. Aún así, quedan varios cortijos en pie, habitados o como casa de campo.