La Hermandad del Refugio y de la Caridad nace y se funda en Granada a finales del Siglo XV, datando sus primeras constituciones de 1513. Es la primera de toda España y modelo de las que dos siglos más tarde se crearon en Madrid y Zaragoza. Teniendo como finalidad albergar y alimentar a pobres, amparar expósitos, costear la lactancia a niños, pagar lavados y baños a meneterosos, dotar doncellas, socorrer madres abandonadas, ayudar a domicilio a los pobres vergonzantes y redimir cautivos. Es la institución seglar de beneficiencia, más antigua de España.

Desde su fundación estuvo en la Calle Elvira, hasta la inauguración del Actual Edificio en el año 1921. Es un conjunto de edificaciones, formado por una construcción central y tres pabellones, rodeados de una extensa huerta. El edificio principal lo componen tres cuerpos definidos individualmente y conectados entre sí por galerías.

Los pabellones son de fábrica de ladrillo. Las cornisas están quebradas con recursos barrocos y los dinteles triangulares de los tejados, realizados en piedra, le dan un encanto inconfundible a este conjunto hospitalario, que es obra del arquitecto Fernando Wilhelmi Manzano.