Tras el incendio de 1886, en el que se quemó el antiguo palacio episcopal, el obispo Joan Baptista Grau i Vallespinós encargó el proyecto de un nuevo palacio al arquitecto modernista Antoni Gaudí, con quien el obispo mantenía una vieja amistad. Las obras se iniciaron en 1889 pero tras el fallecimiento del obispo en 1893 Gaudí renunció a la dirección de la obra por desavenencias con el Cabildo, cuando todavía faltaban por construir el segundo piso y el ático. Le sucedieron, sin éxito, los arquitectos Francisco Blanch y Pons y Manuel Hernández Álvarez-Reyero, hasta que con Julián de Diego y Alcolea como obispo se nombró como nuevo director del proyecto a Ricardo García Guereta, que concluyó el edificio en 1913.
Durante la Guerra Civil Española sirvió de cuartel y sede de la Falange y tanto en 1943 como en 1956 el edificio sufrió diversas reparaciones con la intención de convertirlo en residencia del obispo. Esta función nunca llegó a consurmarse y bajo los pontificados de Marcelo González Martín y Antonio Briva Miravent se promovió el edificio como Museo de los Caminos, inaugurado en 1963.
Actualmente, el edificio es, pues, sede del Museo de los caminos que muestra una interesante colección de esculturas de madera policromada y de orfebrería renacentista y barroca así como gran cantidad de elementos litúrgicos.