Marco Común Europeo de Referencia

Anejo C. Las escalas DIALANG

Este anejo contiene una descripción del sistema DIALANG de evaluación de la lengua que es una aplicación del Marco para fines de diagnóstico. Este sistema se centra en las especificaciones de autoevaluación utilizadas y en el estudio de valoración llevado a cabo en ellas como parte del desarrollo del sistema. También se incluyen dos escalas descriptivas relacionadas, que se basan en el Marco y que se utilizan para informar a los alumnos de los resultados del diagnóstico y para explicárselos. Los descriptores de este proyecto fueron escalonados y se equipararon con los niveles del Marco utilizando el método n.º 12c (modelo de Rasch) explicado al final del anejo A.

El proyecto DIALANG

El sistema evaluador de DIALANG

El proyecto DIALANG es un sistema de evaluación pensado para alumnos de idiomas que quieren conseguir información de diagnóstico sobre su dominio de la lengua estudiada. El proyecto DIALANG se lleva a cabo con la ayuda financiera de la Comisión Europea, Dirección General de Educación y Cultura (Programa SOCRATES, LINGUA, Acción D).

El sistema se compone de autoevaluación, pruebas lingüísticas y retroalimentación, que están disponibles en catorce lenguas europeas: alemán, danés, español, finés, francés, griego, holandés, inglés, irlandés, islandés, italiano, noruego, portugués y sueco. DIALANG se puede utilizar a través de Internet de forma gratuita.

El marco de evaluación de DIALANG y las escalas descriptivas utilizadas para informar de los resultados a los usuarios se basan directamente en el Marco de referencia. La mayoría de las especificaciones de autoevaluación empleadas en DIALANG, también se han extraído del Marco y se han adaptado, cuando ha sido necesario, para satisfacer las necesidades específicas del sistema.

Finalidad del proyecto DIALANG

El proyecto DIALANG se dirige a los adultos que quieren conocer su nivel de dominio de una lengua y obtener retroalimentación sobre las cualidades y las insuficiencias de dicho dominio. Este sistema también proporciona a los alumnos consejos sobre la forma de mejorar sus destrezas lingüísticas y además intenta despertar en ellos la conciencia del aprendizaje y del dominio de la lengua. Este sistema no concede certificados y sus usuarios principales son alumnos que estudian idiomas de forma independiente o en cursos académicos. Sin embargo, muchas de las características del sistema también les pueden resultar útiles a los profesores de idiomas para sus objetivos.

El procedimiento evaluador en DIALANG

El procedimiento evaluador de DIALANG consta de las siguientes fases:

1. elección de la lengua de recepción de la prueba (catorce posibles);
2. inscripción;
3. elección de la lengua de la que se quiere ser evaluado (catorce posibles);
4. prueba de valoración de la amplitud de vocabulario;
5. elección de la destreza (comprensión escrita y auditiva, expresión escrita, vocabulario, estructuras);
6. autoevaluación (sólo en comprensión escrita y auditiva y en expresión escrita);
7. el sistema efectúa una estimación previa de la capacidad del alumno;
8. se proporciona una prueba de dificultad adecuada;
9. retroalimentación.

Al entrar en el sistema, los alumnos eligen primero la lengua en la que desean recibir instrucciones y retroalimentación. Después de registrarse, se les presenta una prueba de clasificación que también valora la cantidad de su vocabulario. Después de elegir la destreza de la que quieren ser evaluados, se les presentan varias especificaciones de autoevaluación antes de realizar la prueba elegida. Estas especificaciones de autoevaluación abarcan la destreza en cuestión, y el alumno tiene que decidir si puede realizar o no la actividad que se describe en cada especificación. La autoevaluación no está disponible para las otras dos áreas evaluadas por DIALANG, vocabulario y estructuras, porque no existen en el Marco especificaciones que sirvan de fuente. Después de la prueba, como parte de la retroalimentación, se pregunta a los alumnos si su nivel de dominio autoevaluado difiere del nivel de dominio que el sistema les otorga según su actuación en las pruebas. También se ofrece a los usuarios en la sección explicativa de la retroalimentación, la oportunidad de analizar los motivos potenciales de un desajuste en la equiparación entre la autoevaluación y los resultados de la prueba.

Finalidad de la autoevaluación en el sistema DIALANG

Las especificaciones de autoevaluación se utilizan por dos motivos en el sistema DIALANG. En primer lugar, la autoevaluación se considera una importante actividad en sí misma. Se estima que fomenta el aprendizaje autónomo, que da a los alumnos un mayor control sobre su aprendizaje y que mejora su conciencia sobre el proceso de aprendizaje.

La segunda finalidad de la autoevaluación en DIALANG es más técnica: el sistema utiliza la prueba de valoración de la amplitud de vocabulario y los resultados de la autoevaluación para valorar la capacidad del alumno, y después le propone la prueba cuyo nivel de dificultad se equipara mejor con su capacidad.

Las escalas de autoevaluación de DIALANG

Fuente

La mayoría de las especificaciones de autoevaluación utilizadas en DIALANG fueron tomadas de la versión inglesa del Marco de referencia (Versión 2, 1996). A este respecto, DIALANG es una aplicación directa del Marco con fines de evaluación.

Desarrollo cualitativo

El grupo de trabajo de DIALANG que se ocupa de la autoevaluación¹ revisó todos los enunciados del Marco de referencia en 1998 y eligió los que parecían ser más concretos, claros y sencillos, y se consultaron, asimismo, los resultados empíricos de North (1996/2000) relativos a las especificaciones. Se eligieron más de cien especificaciones para la comprensión de lectura, la comprensión auditiva y la expresión escrita. Del mismo modo, se eligieron especificaciones relativas a la expresión oral, pero como la expresión oral no forma parte del actual sistema DIALANG, no se incluyeron en el estudio de validación que se describe más adelante y no se presentan, por tanto, en este anejo.

La redacción de las especificaciones se cambió de tercera a primera persona, porque se iban a utilizar para fines de autoevaluación más que para fines de evaluación del profesor. Se modificaron algunas especificaciones para simplificarlas y así adecuarlas a los usuarios a los que iban destinadas; también se elaboraron algunas especificaciones nuevas, cuando no había material suficiente en el Marco de referencia del que hacer uso (las especificaciones nuevas aparecen en los cuadros en cursiva). Todas las especificaciones fueron verificadas por el Dr. Brian North, creador de las especificaciones del Marco, y por un grupo de cuatro expertos en evaluación y enseñanza de idiomas, antes de decidir la redacción final de las especificaciones.

Traducción

Debido a que DIALANG es un sistema multilingüe, las especificaciones de autoevaluación fueron después traducidas del inglés a otras trece lenguas. La traducción siguió un procedimiento concertado, se acordaron unas directrices para la traducción y la negociación y un criterio cualitativo importante fue la comprensibilidad para los alumnos. Al principio, dos o tres traductores por lengua tradujeron las especificaciones a su idioma de forma independiente y después se reunieron para debatir las diferencias y acordar una redacción de consenso. Las traducciones fueron remitidas al grupo de autoevaluación, cuyos miembros tenían el dominio lingüístico suficiente para comprobar además la calidad de las traducciones en nueve lenguas. Se contactó con los traductores, se discutieron todos los asuntos relacionados con la redacción y se acordaron las modificaciones.

La gradación de las especificaciones de autoevaluación

Hasta ahora, el proyecto DIALANG ha llevado a cabo un estudio de gradación de las especificaciones de autoevaluación. Antes de nada, hay que anotar que la gradación de dificultad es un procedimiento que determina de forma estadística el nivel de dificultad de ítems, especificaciones, etc., con el fin de establecer una escala con ellos. La gradación se basó en una muestra de 304 sujetos (diseño completo de la prueba) que también realizaron varias pruebas de DIALANG en finés. Se les presentaron las especificaciones de autoevaluación, bien en sueco (para 250 individuos que tenían el sueco como lengua materna) o bien en inglés. Además, la mayoría de estas personas podía consultar la versión finlandesa de las especificaciones².

Se analizaron los datos con el programa OPLM (Verhelst et al., 1985: Verhelst y Glass, 1995)³. Los resultados del análisis fueron muy buenos; más del 90 por ciento de las especificaciones pudieron ser escalonadas, es decir, encajaron en el modelo estadístico utilizado. Las tres escalas de autoevaluación que se crearon mediante la gradación de las especificaciones fueron muy homogéneas, como así lo indicaron los altos índices de fiabilidad (alfa de Cronbach: 0,91 para la comprensión de lectura, 0,93 para la comprensión auditiva y 0,94 para la expresión escrita)⁴.

Parecidos estudios de gradación se llevarán a cabo cuando se realicen pruebas con las otras trece lenguas siguiendo el enfoque desarrollado por el grupo de análisis de datos. Estos estudios demostrarán hasta qué punto se pueden repetir los excelentes resultados del primer estudio y si existe la tendencia de que algunas especificaciones sean mejores que otras de forma consistente para fines de autoevaluación.

Aunque el primer estudio de gradación sea sólo uno, hay que destacar que este estudio demuestra la calidad de más de una versión en una lengua de las especificaciones de autoevaluación del sistema DIALANG. Esto es así porque la mayoría de los alumnos estudiados pudieron elegir cualquiera de las tres versiones, e incluso todas (sueco, inglés o finés) cuando completaron la parte de autoevaluación, aunque la mayoría probablemente utilizó la versión sueca. Debido al cuidadoso procedimiento de traducción, podemos suponer con toda garantía que las especificaciones de autoevaluación son en gran medida equivalentes en todas las lenguas, suposición que obviamente será evaluada como parte de otros estudios de gradación.

Otra muestra de la calidad de las escalas de autoevaluación de DIALANG —y de las escalas del Marco de referencia— la obtuvo el Dr. Kaftandjieva, al establecer una correlación entre los valores de dificultad de las especificaciones de este estudio y los valores de las mismas especificaciones conseguidos por North (1996/2000) en un contexto diferente. La correlación resultó ser muy alta (0,83 o incluso 0,897, si se excluye una especificación de comportamiento extraño).

El documento C1 presenta las 107 especificaciones de autoevaluación para la comprensión de lectura, la comprensión auditiva y la expresión escrita que superaron el estudio de gradación basado en datos finlandeses. Las especificaciones de cada cuadro están ordenadas en función de la dificultad, de las más fáciles a las más difíciles. Las especificaciones que no se tomaron del Marco de referencia aparecen en cursiva.

Otras escalas DIALANG basadas en el Marco de referencia

Además de las especificaciones de autoevaluación, DIALANG utiliza dos conjuntos de escalas descriptivas basadas en el Marco de referencia. Las escalas se refieren a la comprensión de lectura, la expresión escrita y la comprensión auditiva:

• la versión más concisa acompaña la puntuación de la prueba;
• la versión más extensa forma parte de la información adicional sobre los resultados;

Escalas concisas

DIALANG utiliza las escalas concisas generales de la comprensión de lectura, la expresión escrita y la comprensión auditiva, para informar de las puntuaciones del sistema DIALANG. Cuando los alumnos obtienen retroalimentación sobre su actuación, se les da un resultado respecto a la escala del Marco de referencia, de A1 a C2, y el sentido de esta puntuación se describe utilizando estas escalas de información de resultados. Estas escalas fueron ratificadas en el contexto DIALANG pidiendo a doce expertos que asignaran cada especificación a uno de seis niveles. Estas escalas generales de información de resultados fueron utilizadas después por los expertos para asignar cada ítem de las pruebas de finés de DIALANG a un nivel del Marco de referencia. La escala está basada en el cuadro 2 del Marco; las descripciones fueron ligeramente modificadas de la misma forma que las especificaciones de autoevaluación. Estas escalas se presentan en el documento C2.

Información adicional sobre los resultados

La sección de información adicional sobre los resultados del sistema de evaluación utiliza escalas que contienen descripciones más extensas de dominio de la lengua, relativas a la comprensión de lectura, la expresión escrita y la comprensión auditiva. La sección ofrece a los usuarios una relación más detallada de los conocimientos lingüísticos característicos de los usuarios en cada uno de los niveles de destreza. Los alumnos también pueden comparar la descripción de un nivel concreto con las descripciones de niveles contiguos. Estas escalas más detalladas también se fundamentan en las escalas del cuadro 2 del Marco, pero los descriptores se elaboraron más a fondo con la ayuda de otras secciones del Marco y también a partir de otras fuentes. Estas escalas se presentan en el Documento C3.

Los lectores que se interesen por los resultados de los estudios empíricos a los que nos hemos referido aquí, encontrarán una información más detallada sobre ellos en la obra de Takala y Kaftandjieva (de próxima publicación); para obtener más información sobre el sistema en general y sobre la retroalimentación que proporciona, se pueden consultar las obras de Huhta, Luoma, Oscarson, Sajavaara, Takala y Teasdale (de próxima publicación).

Obras de consulta:

1. Huhta, A., Luoma, S., Oscarson, M., Sajavaara, K., Takala, S. y Teasdale, A., (de próxima publicación). «DIALANG: A Diagnostic Language Assessment System for Learners», en Alderson, J. C. (ed.), Case Studies of the Use of the Common European Framework, Consejo de Europa.
2. North, B. (1996/2000), The Development of a Common Framework Scale of Language Proficiency Based on a Theory of Measurement, Tesis doctoral, Thames Valley University, Reimpresa en 2000, Nueva York, Peter Lang.
3. Takala, S. y Kaftandjieva, F. (de próxima publicación), «Council of Europe Scales of Language Proficiency: A Validation Study», en Alderson, J. C. (ed.), Case Studies of the Use of the Common European Framework, Consejo de Europa.
4. Verhelst, N., Glass, C., y Verstralen, H. (1985), «One-Parameter Logistic Model: OPLM», Arnhem, CITO.
5. Verhelst, N. y Glass, C. (1995), «The One—Parameter Logistic Model», en Fisher, G. y Molenaar, I. (ed.), Rasch Models: Foundation, Recent Developments and Applications, Nueva York, Springer-Verlag, págs. 215-237.

Documento C1: Especificaciones de autoevaluación de DIALANG.

Documento C2: Escalas generales (de modo conciso) para informar de las calificaciones de DIALANG.

Documento C3: Escalas descriptivas detalladas que se utilizaron en la sección de información adicional sobre los resultados de DIALANG. 

Centro Virtual Cervantes © Instituto Cervantes, . Reservados todos los derechos. cvc@cervantes.es