Torreón defensivo del siglo XIII, es el único testimonio que queda del antiguo castillo bajomedieval.
El castillo de Lupión era un castillo rural que formaba parte del cinturón de castillos defensivo de Úbeda y de Baeza.
La parte inferior de la torre es maciza.
Está hecho a base de mampostería en hiladas regulares con parámetros de sillarejo.
La entrada estaba a media altura.
Su planta alcanza la forma cuadrada en la parte interna, la más antigua, lindera con el patio de armas, mientras que la exterior, que da a la calle, es redonda, tal vez porque se reformó posteriormente para evitar los efectos destructivos de la artillería.
En el interior hay dos salas con bóvedas de ladrillo de media naranja.
La terraza conserva la estructura almenada con tres canes de un desaparecido matacán defensivo.
Hecho a base de mampostería en hiladas regulares, con paramentos de sillarejo.
Este castillo fue testigo de las luchas entre Benavides y Carvajales de Baeza.
Desde esta fortaleza, en el año 1442, Pedro de Padilla, Alcalde de Lupión en representación del Concejo de Baeza, se sublevó contra el entonces Regidor de Baeza Juan Pérez Valenzuela.
En 1515, la Reina Doña Juana firmó una Real Provisión a la Ciudad de Baeza para que "se reparase una torre del Castillo de Lupión".