Según la leyenda su fundación se debe a un incidente de Antonio de Vargas y Carvajal con un zapatero en el mercado. Se cuenta que el zapatero se encontraba en el mercado buscando un manjar para celebrar el Lunes de Aguas, cuando vio una apetitosa anguila; no fue el único: el corregidor de la ciudad Antonio de Vargas y Carvajal también de fijó en ella y ambos preguntaron al mismo tiempo cuanto costaba. El precio era de sesenta reales, el rico corregidor no estaba dispuesto a pagarlos pero si el humilde zapatero. El corregidor le preguntó asombrado qué haría si enfermaba, y el zapatero le contestó que para eso ya estaba el hospital.

El corregidor, soltero y sin hijos, había hecho testamento a favor del hospital, pero tras este hecho se sintió tan ofendido que cambió su testamento, para que su fortuna no fuera a parar al hospital, sino a una fundación, el Seminario de Carvajal, en el cual los hijos del zapatero no podrían ingresar.