Don Juan Bautista de Arróspide y Beláustegui, natural de Axpe de Busturia, Vizcaya, Alcalde del Primer Voto y Regidor de Arequipa, adquiere y concluye a fines del  siglo XVIII este inmueble, cuya construcción había iniciado en 1743 Doña María Gregoria viuda de Benavides y Moscoso, con propósito de ser Palacio Episcopal. Aquí vivió algunos años el Obispo don Pedro Chávez de la Rosa Galván y Amado. Durante algún tiempo se le llamó “Palacio de la Inmaculada Concepción”.