La arquitectura es en este edificio vertical, vigorosa y severa, otorgándole valor a los grandes espacios. El desdoblamiento de estilos auspicia un vínculo entre matices propios del siglo xvi y del xviii, lo cual da una idea del número de reformas efectuadas en el recinto. Mientras el poderío del Palacio concita imágenes de solemnidad, su interior permite confirmarlas por medio de dos centros científicamente ordenados, repletos de evocadores tesoros: el archivo y el museo diocesanos. Cumpliendo funciones de cronista, Francisco Gómez de Travecedo sitúa en este escenario a los principales personajes de la cristiandad local: «La tradición sostiene, apoyada en la fe, que en el sitio de uno de sus salones de la planta baja estuvieron las habitaciones del Santo Obispo de Cuenca». Esta alusión a San Julián es la disculpa idónea para recorrer ese patio interior del que arranca, a su lado izquierdo, la escalera que ha de llevarnos hasta los aposentos del obispo, y asimismo hasta una entrada particular del prelado que da paso a la Catedral (Cuenca, Madrid, Publicaciones Españolas, 1959, p. 20).
También sitúa en este palacio a San Julián otro observador de Cuenca, Pedro José Cuevas. No obstante, dicho estudioso aclara que fue en 1250, durante el obispado de Mateo Reinal, cuando se concluyeron las tareas del antiguo edificio. La construcción prosiguió intensamente en el siglo xvi, al emplear el obispo Diego Ramírez de Villaescusa al arquitecto Pedro de Alviz. En adelante, otros prelados hicieron reformas, pero sólo para enriquecer una estructura que ya estaba resuelta en sus volúmenes. La principal agregación, en todo caso, fue una portada neoclásica, afín al esplendor arquitectónico de la Cuenca del siglo xviii.
A la manera de una ensoñación histórica, podemos imaginar a los grandes personajes locales asomándose a los arcos góticos del piso bajo o cruzando las puertas platerescas. De acuerdo con las referencias que cita Mateo López, entre los naturales de Cuenca que pudieron acercarse a este lugar a partir del siglo xiv, figuran el cardenal de San Eustaquio, don Alonso Carrillo de Albornoz, hijo de don Gómez Carrillo, camarero de Juan II, arcediano de Cuenca y presidente del Concilio de Basilea; el cardenal don Francisco de Mendoza y Bobadilla, hijo de don Diego Hurtado de Mendoza; y por supuesto, don Alonso Carrillo, canónigo y tesorero de la Santa Iglesia de Cuenca y obispo de Veste, quien además formó en 1540 el proceso e información de la vida y milagros de San Julián (Memorias históricas de Cuenca y su obispado, recogidas y ordenadas por el autor en 1787, volumen II, edición de Ángel González Palencia, Biblioteca Conquense, tomo VI, Instituto Jerónimo Zurita del Consejo Superior de Investigaciones Científicas, Ayuntamiento de Cuenca, 1953, pp. 141-145).