Posiblemente fuese la ubicación de la Torre Mocha, antigua Torre del Homenaje del Castillo, que junto a ella hubo otra de las puertas desaparecida de la muralla (Murallas de Iznatoraf) que daban acceso al castillo.
En los siglos XIII y XIV se erigirá en el centro de la villa un amplio y suntuoso recinto nuevo.
En el año 1444 existía ...un palacio viejo de los arçobispos, el qual era castillo en medio de la dicha villa ajustándose a lo estipulado en el Fuero sobre que ...en Heznatoraf non ayan más de dos palaçios solamente, el palacio del Rey e el palaçio del obispo.
Sus torres fueron demolidas por orden del arzobispo toledano Pedro de Luna (1403-1415)
Construyéndose en su solar el edificio del Ayuntamiento antiguo y unos portales para la Audiencia, amén de un hospital para pobres regentado por la cofradía de Santa María de Gracia.
Un nuevo alcázar se construyó por entonces ...fecho en la çerca de la dicha villa.