- La Cripta de San José es el único resto conservado de la ermita.
- La Ermita de San José data de los siglos XVI-XIX.
- Se encontraba sobre los restos de la Muralla Púnica.
- La fecha exacta de la construcción de la ermita no se puede precisar, aunque si se sabe que ya estaba en funcionamiento a mediados del siglo XVI, fecha en la que se erige en ella una cofradía dedicada a San José.
- Se trataba de un templo de tres naves en cuyo interior existían cofradías dedicadas a San José y San Juan Nepomuceno, esta última formada por sacerdotes y que daba culto a una imagen del santo tallada en 1763 por Francisco Salzillo.
- En la ermita se conservaba también una Virgen del Refugio o del Carmen atribuida por algunos autores también a Salzillo, que parece corresponder a la que se conserva en la actualidad en la Iglesia de la Caridad.
- La ermita estaba en uso en 1829 cuando se vio afectada por un terremoto que provocó algunos daños en su estructura.
- Abandonada tras la Desamortización de Mendizabal, pronto fue demolida y se proyectó construir, ya en 1884, una cárcel sobre los terrenos que ocupó, algo que nunca llegó a realizarse.
- La ermita dio nombre al Cerro de San José en cuya ladera estaba situada así como a la puerta situada en sus inmediaciones correspondiente a la fortificación realizada en tiempos de Carlos III (Muralla de Carlos III).