Parece ser que además de la iglesia había otras tres cuevas mas originales, posiblemente celdas de monjes o habitáculos relacionados con la iglesia. En tiempos modernos estas cuevas se utilizaron como viviendas como demuestra los armarios tallados en las paredes con apoyaderos de baldas y apoyaderos de cántaros en sus partes bajas. Posteriormente comunicaron las cuevas a través de estos armarios y de los laterales de la iglesia original como demuestra la distinta altura en el pasillo del fondo.
En la cabecera de la Iglesia hay inscrita en la pared una Cruz del Calvario con la base circular.
En una de las naves añadidas como vivienda es donde está tallada la mujer desnuda y el escudo posiblemente tallado justo antes de la Guerra Civil en 1935 como indica la inscripción en la puerta.
Todas están en la base de los cortados, por lo tanto sería anterior al grupo I que se encuentran en alto, ya que no tendrían peligro ni necesidad de vivir en las alturas buscando protección.
En este grupo también están las escaleras (Oratorio visigodo de Giribaile. Escaleras) talladas en roca para subir a la cima de la meseta. Esta escalera le servía para acceder a la zona de cultivo.
En la puerta de estas cuevas hay tallada una pila de lavar, posiblemente de cuando se utilizaron como viviendas en el siglo XX.
La cueva de la derecha tiene chimenea y un banco corrido tallado en roca, posiblemente fuese el antiguo receptorio del oratorio antes de trasladarse a las alturas en el grupo I (Oratorio visigodo de Giribaile. Receptorio).
En las paredes de este grupo de cuevas hay restos de pintura de color rojo almagra.