La fachada del mihrab y la cúpula que le precede al mihrab constituyen la parte más preciosa del edificio, ante la exuberancia ornamental que aquí se concentra, gracias al espectacular despliegue de mosaicos, cerámica, celosías, placas de mármol talladas con máxima exquisitez, pantallas de arcos entrecruzados, pinturas, etcétera. A esto hay que sumar la alternancia cromática de los soportes y la delicada talla de los elementos arquitectónicos (pilastras, capiteles, arcos, cornisas, impostas o molduras). En cuanto a los motivos más repetidos, están las bellas inscripciones, los motivos vegetales —más o menos naturalistas, más o menos abstractos—, así como las diferentes composiciones geométricas.

El gran arco de herradura que da acceso al mihrab apoya sobre cuatro columnas, provistas de sus basas y bellos capiteles, que pertenecieron al mihrab realizado en el siglo IX por ‘Abd al-Rahman II en su ampliación. Estas piezas fueron intencionadamente conservadas por al-Hakam II para ser después instaladas donde hoy se encuentran, de ahí su carácter desproporcionado respecto a todo el conjunto.

El mihrab propiamente dicho presenta planta heptagonal y se cubre por una bóveda octogonal de yeso que reproduce una gran concha. De nuevo debe señalarse la riqueza decorativa de este espacio, sus inscripciones, sus mármoles, etcétera.

Este recinto, que supera los tres metros tanto en profundidad como en anchura, es único por su tipología en la arquitectura conservada de los primeros siglos del arte islámico, pues ninguna de las importantes mezquitas de Damasco, Jerusalén o Qayrawan presentan un mihrab tan monumental como el cordobés (en todas ellas se reduce a un simple nicho). Gracias a las excavaciones realizadas por Félix Hernández, sabemos que la solución adoptada en la ampliación de al-Hakam II tuvo su precedente (en planta al menos) en el anterior mihrab de la Mezquita de Córdoba, aunque de menores dimensiones, realizado por ‘Abd al-Rahman II.