Anejo B. Las escalas ilustrativas de descriptores

Este anejo describe el proyecto suizo para el desarrollo de los descriptores ilustrativos del Marco de referencia. Ofrece también una lista de las categorías que fueron escalonadas, con referencias a las páginas del documento principal donde se pueden encontrar. Los descriptores de este proyecto se escalonaron y utilizaron para crear los niveles del Marco, según el método n.º 12c (modelo de Rasch), explicado al final del anejo A.

El proyecto suizo de investigación

Origen y contexto

Las escalas de descriptores incluidas en los capítulos 3, 4 y 5 se han elaborado partiendo de los resultados de un proyecto del Consejo Nacional Suizo de Investigación Científica que se llevó a cabo entre 1993 y 1996. Este proyecto se realizó como una continuación del Simposio de Rüschlikon de 1991. El objetivo era elaborar especificaciones transparentes de dominio de la lengua, relativas a distintos aspectos del esquema descriptivo del Marco, que también podría contribuir al desarrollo del Portfolio europeo de las lenguas (European Language Portfolio).

Un primer estudio de 1994 se centró en la interacción y en la expresión, y se limitó al inglés como lengua extranjera y a la evaluación que realiza el profesor. En 1995 se repitió parcialmente el estudio de 1994, con la incorporación de la comprensión y se analizaron el dominio de francés y de alemán además del de inglés. También se añadió la autoevaluación y la información sobre exámenes (Cambridge; Goethe; DELF/DALF) a la evaluación que realiza el profesor.

En total, casi trescientos profesores y dos mil ochocientos alumnos —que representaban aproximadamente quinientas clases— participaron en los dos estudios. Los alumnos, procedentes del primero y del segundo ciclo de secundaria, de la enseñanza profesional y de la enseñanza de adultos, estaban representados en las siguientes proporciones:

	1.^er ciclo de secundaria	2.º ciclo de secundaria	Enseñanza profesional	Enseñanza de adultos
1994	35%	19%	15%	31%
1995	24%	31%	17%	28%

Participaron profesores pertenecientes a las regiones suizas donde se habla alemán, francés, italiano y retorromano, aunque el número de los pertenecientes a las regiones donde se habla italiano y retorromano fue muy reducido. Cada año, aproximadamente un cuarto de los profesores enseñaron en su lengua materna y completaron cuestionarios en la lengua meta. De esta forma, en 1994, los descriptores se utilizaron sólo en inglés, mientras que en 1995 fueron completados en inglés, francés y alemán.

Metodología

En pocas palabras, la metodología del proyecto ha sido tal y como a continuación se detalla:

Fase intuitiva:

1. Análisis detallado de las escalas de dominio de la lengua que se encuentran en el ámbito público o que se consiguieron por medio de contactos realizados por el Consejo de Europa en 1993; al final de este resumen se ofrece una lista.
2. Deconstrucción de esas escalas para convertirlas en categorías descriptivas relacionadas con las presentadas en los capítulos 4 y 5 y crear así un fondo inicial de descriptores redactados y modificados.

Fase cualitativa:

3. Análisis de categorías de grabaciones de profesores debatiendo y comparando el dominio de la lengua manifestado en actuaciones de vídeo, con el fin de comprobar que el metalenguaje utilizado por los profesionales estaba suficientemente representado.
4. Treinta y dos talleres de trabajo en los que los profesores: a) clasificaban los descriptores en categorías que ellos pretendían describir; b) realizaban valoraciones cualitativas respecto a la claridad, la corrección y la adecuación de la descripción; y c) clasificaban los descriptores en grados de dominio de la lengua.

Fase cuantitativa:

5. Evaluación realizada por profesores a alumnos representativos al final del curso escolar, utilizando una serie superpuesta de cuestionarios compuestos por descriptores considerados los más claros, los más centrados y los más adecuados por los profesores de los talleres de trabajo. Durante el primer año, se utilizó una serie de siete cuestionarios, cada uno de ellos compuesto por cincuenta descriptores, para cubrir una franja de dominio de la lengua que abarcaba desde alumnos que tenían ochenta horas de inglés hasta los hablantes avanzados.
6. En el segundo año, se utilizó una serie de cinco cuestionarios. Los dos estudios quedaron vinculados por el uso de los descriptores de interacción oral también en el segundo año. Los alumnos fueron evaluados según cada uno de los descriptores, mediante una escala de 0 a 4 que describía la relación con las condiciones de la actuación en las que se suponía que ellos podrían realizar la actuación descrita. La forma en que los profesores interpretaron los descriptores se analizó utilizando el modelo de escalas de valoración de Rasch. Este análisis tuvo dos objetivos:
1. Atribuir matemáticamente un «valor de dificultad» a cada descriptor.
2. Identificar estadísticamente la variedad significativa de la interpretación de los descriptores con relación a distintos sectores educativos, regiones lingüísticas y lenguas meta, con el fin de identificar descriptores que tuvieran una estabilidad muy alta de valores en distintos contextos para utilizarlos en la creación de escalas holísticas que resumieran los niveles comunes de referencia.
7. Evaluación de la actuación realizada por todos los profesores participantes respecto a vídeos de algunos alumnos. El objetivo de esta evaluación era cuantificar las diferencias existentes en el rigor de los profesores participantes, para tener en cuenta esa variedad de rigor a la hora de determinar el grado de aprovechamiento en los sectores educativos suizos.

Fase de interpretación:

8. Determinación de «puntos de corte» en la escala de descriptores para elaborar el conjunto de niveles comunes de referencia presentados en el capítulo 3. Resumen de esos niveles en una escala holística (cuadro 1), un cuadro de evaluación que describe actividades de lengua (cuadro 2) y un cuadro de evaluación de la actuación que describe distintos aspectos de la competencia lingüística comunicativa (cuadro 3).
9. Presentación de escalas ilustrativas en los capítulos 4 y 5 de las categorías que se pudieron escalonar.
10. Adaptación de los descriptores al formato de autoevaluación para elaborar una versión suiza de prueba del Portfolio. Esto comprende: (a) un cuadro de autoevaluación para la comprensión auditiva, la expresión oral, la interacción oral, la producción hablada, la expresión escrita (cuadro 2); (b) una lista de control para la autoevaluación de cada uno de los niveles comunes de referencia.
11. En un congreso final en el que se presentaron los resultados de la investigación, se debatió la experiencia con el Portfolio, y se dieron a conocer a los profesores los niveles comunes de referencia.

Resultados

El escalonamiento de los descriptores de distintas destrezas y de distintos tipos de competencias (lingüística, pragmática, sociocultural) se complica con la cuestión sobre si las evaluaciones de estas distintas características podrían combinarse en un criterio único de medida. Éste no es un problema suscitado por el modelo de Rasch o asociado exclusivamente con ese modelo, sino que se aplica a todo análisis estadístico. El método de Rasch, sin embargo, es menos transigente si surge un problema; los datos de las pruebas, los datos de la evaluación que realiza el profesor y los datos de la autoevaluación pueden comportarse de forma diferente a este respecto. En cuanto al asunto de este proyecto relativo a la evaluación que realiza el profesor, determinadas categorías tuvieron menos éxito y se eliminaron del análisis con el fin de salvaguardar la precisión de los resultados. Las categorías que se extrajeron del fondo original de descriptores fueron las siguientes:

Competencia sociocultural
Los descriptores que describían de forma explícita la competencia sociocultural y sociolingüística. No está claro hasta qué punto este problema fue provocado: a) por el hecho de que éste sea un constructo separado del dominio de la lengua, b) por descriptores bastante imprecisos que se consideraron problemáticos en los talleres de trabajo, o c) por las respuestas inconsistentes de los profesores que carecían del necesario conocimiento de sus alumnos. Este problema se extendió a los descriptores de la capacidad de leer y apreciar la ficción y la literatura.
Relacionadas con el trabajo
Los descriptores que pedían a los profesores que se imaginaran actividades (generalmente relacionadas con el trabajo) que no pudieran observar directamente en clase; por ejemplo: llamar por teléfono, asistir a reuniones, realizar presentaciones formales, escribir informes y redacciones, correspondencia formal. Esto ocurrió a pesar de que los sectores de enseñanza profesional y de adultos estaban bien representados.
De concepto negativo
Los descriptores relativos a la necesidad de simplificación y a la necesidad de que se repita o aclare lo dicho, que son conceptos implícitamente negativos. Dichos aspectos funcionaban mejor con condiciones en especificaciones redactadas de forma positiva; por ejemplo:

Comprende generalmente el discurso claro y en lengua estándar dirigido a él que trata asuntos cotidianos, siempre que de vez en cuando pueda pedir que le repitan o le vuelvan a formular lo dicho.

Para estos profesores la comprensión de lectura resultó estar en una dimensión de medida distinta a la de la interacción y expresión oral. Sin embargo, el diseño de recogida de datos posibilitó el escalonamiento de la comprensión de lectura, de forma separada y a continuación, la equiparación de la escala de comprensión de lectura con la escala principal. La expresión escrita no centró mucho la atención del estudio y los descriptores de expresión escrita incluidos en el capítulo 4 se derivaron principalmente de los de expresión hablada. La estabilidad relativamente alta de los valores de escalas de los descriptores de comprensión de lectura y de expresión escrita tomados del Marco, y que fueron presentados tanto por DIALANG como por ALTE (véanse los anejos C y D respectivamente) sugieren, sin embargo, que los enfoques adoptados para la comprensión y la expresión escritas fueron razonablemente eficaces.

Las complicaciones surgidas en las categorías que acabamos de analizar tienen todas que ver con el escalonamiento de la unidimensionalidad por oposición a la multidimensionalidad. La multidimensionalidad se muestra de una segunda forma con relación a la población de alumnos cuyo dominio de la lengua se describe. Hubo varios casos en los que la dificultad de un descriptor dependía del sector educativo implicado. Por ejemplo, los profesores de principiantes adultos consideraban que las tareas de «la vida real» les resultaban más fáciles a sus alumnos que a los de catorce años. Esto parece intuitivamente sensato. Dicha variación se conoce como «Función Diferencial del Ítem» (FDI). En la medida en que esto fue viable, se evitaron los descriptores que tenían FDI cuando se elaboraron los resúmenes de los niveles comunes de referencia presentados en los cuadros 1 y 2 del capítulo 3. Hubo muy pocos efectos significativos por parte de la lengua meta, y ninguno por parte de la lengua materna excepto la sugerencia de que los profesores nativos quizá tengan una interpretación más estricta de la palabra «comprender» en niveles avanzados, sobre todo respecto a la literatura.

Explotación

Los descriptores ilustrativos de los capítulos 4 y 5 han sido (a) situados en el nivel en que ese descriptor concreto fue calibrado empíricamente en el estudio, (b) escritos mediante la combinación de elementos de descriptores clasificados de esa forma en ese nivel (para unas pocas categorías como, por ejemplo, Declaraciones públicas, que no se incluyeron en el estudio original), (c) seleccionados con relación a los resultados de la fase cualitativa (talleres de trabajo), o bien (d) escritos durante la fase de interpretación para llenar un vacío de la subescala graduada empíricamente. Este último punto se aplica casi en su totalidad a la Maestría, para la que se habían incluido muy pocos descriptores en el estudio.

Seguimiento

Un proyecto para la universidad de Basle, realizado en 1999-2000 adaptó en su momento los descriptores del Marco de referencia para un instrumento de autoevaluación diseñado para el ingreso en la universidad. También se añadieron descriptores de la competencia sociolingüística y de la toma de apuntes en un contexto universitario. Los nuevos descriptores fueron escalonados para los niveles del Marco con la misma metodología utilizada en el proyecto original, y se han incluido en esta edición del Marco de referencia. La correlación de los valores de gradación de los descriptores del Marco de referencia entre sus valores originales de escala y sus valores en este estudio fue de 0,899.

Obras de consulta:

North, B. (1966/200), The development of a common framework scale of language proficiency, tesis doctoral, Thames Valley University, (reimpresa en 2000, Nueva York, Peter Lang).
North, B. (de próxima publicación), «Developing descriptor scales of language proficiency for the CEF Common Reference Levels», en Alderson, J. C. (ed.), Case studies of the use of the Common European Framework, Consejo de Europa.
North, B. (de próxima publicación), «A CEF, based self-assessment tool for university entrance», en Alderson, J. C. (ed.), Case studies of the use of the Common European Framework, Consejo de Europa.
North, B. y Schneider, G. (1998), «Scaling descriptors for language proficiency scales», Language Testing, 15/2, págs. 217-262.
Schneider y North (1999),«In anderen Sprachen kann ich ... Skalen zur Beschreibung, Beurteilung und Selbsteinschätzung der fremdsprachlichen Kommunicationmsfähigkeit», informe de proyecto, Programa Nacional de Investigación 33, Berna, Consejo Nacional Suizo de Investigación Científica.

Los descriptores del Marco de referencia europeo

Además de los cuadros utilizados en el capítulo 3 para resumir los niveles comunes de referencia, los descriptores ilustrativos se encuentran intercalados en el texto de los capítulos 4 y 5 de la siguiente forma:

Documento B1 Escalas ilustrativas del capítulo 4: Actividades comunicativas

COMPRENSIÓN	Auditiva	Comprensión auditiva general. Comprender conversaciones entre hablantes nativos Escuchar conferencias y presentaciones Escuchar avisos e instrucciones Escuchar retransmisiones y material grabado
	Audiovisual	Ver la televisión y cine
	De lectura	Comprensión de lectura en general. Leer correspondencia Leer para orientarse Leer en busca de información y argumentos Leer instrucciones
INTERACCIÓN	Oral	Interacción oral en general. Comprensión en interacción Comprender a un interlocutor nativo Conversación Conversación informal (con amigos) Conversación formal y reuniones de trabajo Colaborar para alcanzar un objetivo Interactuar para obtener bienes y servicios Intercambiar información Entrevistar y ser entrevistado
INTERACCIÓN	Escrita	Interacción escrita en general. Escribir cartas Notas, mensajes y formularios
EXPRESIÓN	Oral	Expresión oral en general. Monólogo sostenido: descripción de experiencias Monólogo sostenido: argumentación (por ejemplo, en un debate) Declaraciones públicas Hablar en público
EXPRESIÓN	Escrita	Expresión escrita general. Escrita creativa Informes y redacciones

Documento B2 Escalas ilustrativas del capítulo 4: Estrategias de comunicación

COMPRENSIÓN	Identificación de las claves e inferencia (Oral y escrita)
INTERACCIÓN	Tomar la palabra (turnos de palabra) Cooperar Pedir aclaraciones
EXPRESIÓN	Planificación Compensación Control y corrección

Documento B3 Escalas ilustrativas del capítulo 4: Trabajo con textos

TEXTO	Tomar notas (en conferencias, seminarios, etc.) Procesar textos

Documento B4 Escalas ilustrativas del capítulo 5: Competencia lingüística comunicativa

LINGÜÍSTICA	Alcance	Competencia lingüística general Riqueza de vocabulario
LINGÜÍSTICA	Dominio	Corrección gramatical Dominio de vocabulario Dominio de la pronunciación Dominio de la ortografía
SOCIOLINGÜÍSTICA		Adecuación sociolingüística
PRAGMÁTICA		Flexibilidad Turnos de palabra Desarrollo de descripciones y narraciones Coherencia y cohesión Precisión Fluidez oral

Documento B5 Coherencia en la clasificación de los descriptores

Las posiciones en las que se detalla un contenido concreto indican un alto grado de coherencia. Es el caso de los temas, por ejemplo. No se han incluido descriptores para clasificar los temas, pero se hace alusión a ellos en los descriptores de varias categorías. Las tres categorías que se consideraron pertinentes son: descripción y narración, intercambio de información y alcance.

Los gráficos a continuación establecen una comparación de las distintas formas de abordar los temas en estas tres áreas. Aunque el contenido de estos tres gráficos no es idéntico, la comparación entre los tres muestra un cierto grado de coherencia, que se refleja en el conjunto de la clasificación de los descriptores. Este tipo de análisis ha constituido la base para la elaboración de descriptores de categorías que no se incluían en el estudio original (por ejemplo, la categoría «Hablar en público») mediante combinaciones de ciertos elementos de algunos descriptores.

Descripción y narración:	A1	Dónde viven
	A2	Personas, aspecto Origen, trabajo Lugares y condiciones de vida
	A2	Objetos, mascotas, pertenencias Hechos y actividades Gustos y preferencias Planes o citas Costumbres o actividades cotidianas Experiencias personales
	B1	Trama de libros o películas Experiencias Contar una historia Sueños, esperanzas, ambiciones Reacciones a todos estos temas
	B1	Detalles básicos sobre sucesos impredecibles; por ejemplo, un accidente
	B2
	C1	Descripción clara y detallada de temas complejos
	C2
Intercambio de información:	A1	Consigo mismo y con otros Hogar Tiempo
	A2	Fórmulas sencillas y directas Intercambio limitado sobre el trabajo y el tiempo libre
	A2	Indicaciones e instrucciones sencillas Pasatiempos, costumbres y actividades cotidianas Actividades pasadas
	B1	Indicaciones detalladas para ir a un lugar
	B1	Información acumulada y factual sobre asuntos cotidianos dentro de un determinado tema
	B2
	C1
	C2
Alcance: situaciones	A1
	A2	Necesidades básicas comunes. Supervivencia sencilla o predecible. Necesidades sencillas y concretas: datos personales, actividades cotidianas, demandas de información
	A2	Transacciones cotididanas. Situaciones y temas cotidianos Situaciones diarias de contenido predecible
	B1	La mayoría de los temas pertinentes para la vida diaria: familia, aficiones, intereses, trabajo, viajes, actualidad
	B2
	C1
	C2

Documento B6 Escalas de dominio de la lengua utilizadas como fuentes

Escalas holísticas del dominio hablado general

Hofmann, Levels of Competence in Oral Communication, 1974.
University of London School Examination Board, Certificate of Attainment-Graded Tests, 1987.
Ontario ESL Oral Interaction Assessment Bands, 1990.
Finnish Nine Level Scale of Language proficiency, 1993.
European Certificate of Attainment in Modern Languages, 1993.

Escalas para distintas actividades comunicativas

Trim, Possible Scale for a Unit/Credit Scheme: Social Skills, 1978.
North, European Language Portfolio Mock-up: Interaction Scales, 1991.
Eurocentres/ELTDU Scale of Business English, 1991.
Association of Language Testers in Europe, Boletín 3, 1994.

Escalas para las cuatro destrezas

Foreign Service Institute Absolute Proficiency Ratings, 1975.
Wilkins, Proposals for level Definitions for a Unit/Credit Scheme: Speaking, 1978.
Australian Second Language Proficiency Ratings, 1982.
American Council on the Teaching of Foreign Languages Proficiency Guidelines, 1986.
Elviri et al., Oral Expression, 1986 (en Van Ek, 1986).
Interagency Language Roundtable Language Skill Level Descriptors, 1991.
English Speaking Union (ESU) Framework Project, 1989.
Australian Migrant Education Program Scale (Sólo comprensión auditiva).

Escalas de valoración para la evaluación oral

Dade County ESL Functional Levels, 1973.
Hebrew Oral Proficiency Rating Grid, 1981.
Carroll B. J. y Hall P. J., Interview Scale, 1985.
Carroll B. J., Oral Interaction Assessment Scale, 1980.
International English Testing System (IELTS), Band Descriptors for the Speaking & Writing, 1990.
Goteborgs Univeritet, Oral Assessment Criteria.
Fulcher, The Fluency Rating Scale, 1993.

Marcos de contenidos de programas y de criterios de evaluación para las fases pedagógicas del logro de los objetivos.

University of Cambridge/Royal Society of Arts Certificates in Communicative Skills in English, 1990.
Royal Society of Arts Modern Languages Examinations: French, 1989.
English National Curriculum: Modern Languages, 1991.
Netherlands New Examinations Programme, 1992.
Eurocentres Scale of Language Proficiency, 1993.
British Languages Lead Body: National Language Standards, 1993.