Anejo D. Las especificaciones de capacidad lingüística de ALTE
Este anejo contiene una descripción de las especificaciones «Puede hacer» (Can Do statements) de ALTE, que forman parte de un proyecto de investigación a largo plazo que lleva a cabo la Asociación Europea de Examinadores de Lenguas (Association of Language Testers in Europe, ALTE). Se describen los objetivos y la naturaleza de las especificaciones, para después explicar cómo se desarrollaron dichas especificaciones, relacionadas con los exámenes de ALTE y vinculadas al Marco de referencia. Los descriptores de este proyecto fueron escalonados y equiparados a los niveles del Marco con el método número 12c (modelo de Rasch), explicado en el anejo A.
La estructura de niveles de ALTE y el proyecto «Puede hacer»
La estructura de niveles de ALTE
Las especificaciones de capacidad lingüística («Puede hacer») de ALTE constituyen una parte fundamental de un programa de investigación a largo plazo establecido por ALTE, cuyo objetivo es crear un marco de niveles clave de actuación lingüística dentro del cual se puedan describir exámenes objetivamente.
Ya se ha realizado gran parte del trabajo que consiste en colocar los sistemas de exámenes de los miembros de ALTE dentro de este marco, basándose en un análisis del contenido de los exámenes, de los tipos de tareas y de los perfiles de los candidatos. Una introducción integradora a este sistema de exámenes se encuentra disponible en el Handbook of European Language Examinations and Examination Systems de ALTE (véanse las secciones 2.1.5. y 8.3.2).
Las especificaciones «Puede hacer» de ALTE son escalas centradas en el usuario
La finalidad del proyecto «Puede hacer» es desarrollar y validar un conjunto de escalas relacionadas con la actuación donde se describa lo que los alumnos son realmente capaces de hacer en la lengua extranjera.
Según la distinción de Alderson (1991) entre escalas centradas en el constructor, el examinador y el usuario, las especificaciones «Puede hacer» de ALTE en su concepción original están centradas en el usuario, contribuyen a la comunicación entre los participantes del proceso de evaluación, y, en concreto, a la interpretación de los resultados de las pruebas por parte de los no especialistas. Como tales, proporcionan:
- Un instrumento útil para todos aquellos que participan en la enseñanza y en la evaluación de los alumnos de idiomas. Se pueden utilizar como una lista de comprobación de lo que pueden hacer los usuarios de la lengua y así definir la etapa en la que se encuentran.
- Una base para desarrollar tareas de pruebas de diagnóstico, currículos basados en las actividades y materiales de enseñanza.
- Un medio para llevar a cabo una verificación lingüística basada en actividades, de utilidad para personas relacionadas con la formación en el ámbito de los idiomas y con la selección de personal en las empresas.
- Un medio de comparar los objetivos de los cursos y los materiales en distintas lenguas, pero dentro del mismo contexto.
Estas especificaciones serán de gran utilidad para los departamentos de formación y de personal, ya que ofrecen descripciones de actuación fácilmente comprensibles, que se pueden emplear a la hora de determinar los requisitos para profesores de idiomas, o a la hora de formular descripciones de puestos de trabajo y de especificar los requisitos lingüísticos para nuevos puestos de trabajo.
Las especificaciones de capacidad lingüística «Puede hacer» de ALTE son multilingües
Un aspecto importante de las especificaciones «Puede hacer» es que son multilingües, y han sido traducidas hasta ahora a doce lenguas representadas en ALTE. Estas lenguas son: alemán, catalán, danés, español, finés, francés, holandés, inglés, italiano, noruego, portugués y sueco. Como descripciones de niveles de dominio de la lengua, independientes de la lengua que se evalúa, constituyen un Marco de Referencia con el que se pueden relacionar potencialmente distintos exámenes de idiomas de diferentes niveles. Ofrecen la oportunidad de demostrar las equivalencias existentes entre los sistemas de exámenes de los miembros de ALTE, en términos claros referidos a las destrezas lingüísticas de la vida cotidiana que podrán llevar a cabo los candidatos que aprueben los exámenes.
Organización de las especificaciones de capacidad lingüística «Puede hacer»
Las escalas «Puede hacer» se componen actualmente de unas cuatrocientas especificaciones, organizadas en tres áreas generales: Sociedad y Turismo, Trabajo y Estudio. Éstas son las tres áreas que más interesan a la mayoría de los alumnos de idiomas. Cada una incluye otras áreas más concretas: el área Sociedad y Turismo tiene secciones como Ir de tiendas, Comidas en restaurantes, Alojamiento, etc. Cada una de ellas comprende hasta tres escalas para las destrezas de Comprensión Auditiva / Expresión Oral, de Comprensión de Lectura y de Expresión Escrita. La Comprensión Auditiva / Expresión Oral combina las escalas relacionadas con la interacción.
Cada escala incluye especificaciones que cubren una serie de niveles. Algunas escalas cubren sólo una parte de la franja de dominio de la lengua, dado que hay muchas situaciones en las que sólo se requiere un dominio de la lengua básico para conseguir el éxito de la comunicación.
El proceso de desarrollo
El proceso original de desarrollo se sometió a las siguientes etapas:
- Descripción de los usuarios de las pruebas lingüísticas de ALTE por medio de cuestionarios, informes de los centros escolares, etc.
- Utilización de esta información para especificar el alcance de las necesidades de los candidatos y determinar los intereses principales.
- Utilización de las especificaciones de las pruebas y de los niveles reconocidos internacionalmente como, por ejemplo, el Plataforma y el Umbral para preparar las especificaciones iniciales.
- Reajuste de las especificaciones y estimación de su adecuación a los candidatos.
- Experimentación de las especificaciones con los profesores y alumnos para evaluar su adecuación y transparencia.
- Corrección, revisión y simplificación de la formulación de las especificaciones en función de lo anterior.
Validación empírica de las especificaciones de capacidad lingüística «Puede hacer» de ALTE
Las escalas así elaboradas se han visto sometidas a un extenso proceso de validación empírica. El proceso de validación pretende transformar las especificaciones «Puede hacer», para que pasen de ser un conjunto esencialmente subjetivo de descripciones de nivel a convertirse en un instrumento de medición perfectamente calibrado. Éste es un proceso en curso y a largo plazo, que continuará conforme se vayan consiguiendo más datos procedentes del conjunto de idiomas representados en ALTE.
Hasta ahora, la recogida de datos se ha basado principalmente en el autoinforme, se han presentado las escalas «Puede hacer» como un conjunto de cuestionarios enlazados. Casi diez mil personas han completado estos cuestionarios y hay, además, disponibles datos complementarios de muchas de estas personas en forma de resultados de exámenes de idiomas. Se trata de la mayor recogida de datos llevada a cabo hasta ahora para validar una escala descriptiva de dominio de la lengua.
Se ha puesto en marcha un análisis empírico de la coherencia interna de las escalas «Puede hacer», que pretende:
- Comprobar el funcionamiento de las especificaciones individuales dentro de cada escala «Puede hacer».
- Equiparar las distintas escalas «Puede hacer», es decir, establecer la dificultad relativa de las escalas.
- Investigar la independencia de las escalas «Puede hacer» con respecto a la lengua utilizada.
Se pasaron los cuestionarios en la primera lengua de los participantes, excepto en niveles muy avanzados, y principalmente en países europeos. Se comprobó que los cuestionarios eran los apropiados para los participantes; las escalas de Trabajo se dieron a personas que utilizan la lengua extranjera en el ámbito profesional y las escalas de Estudio a personas que participan o se preparan para participar en un curso utilizando una lengua extranjera. Las escalas de Sociedad y Turismo se dieron a otros participantes, mientras que se incluyeron como anclaje escalas seleccionadas de esta área en los cuestionarios de Trabajo y de Estudio.
Los ítems de anclaje se utilizan en la recogida de datos para un análisis de Rasch, con el fin de enlazar distintas pruebas o cuestionarios. Como se explica en el anejo A, el análisis de Rasch crea un único marco de medida utilizando un diseño matriz de recogida de datos o una serie de formas superpuestas de pruebas enlazadas por ítems que son comunes a las formas contiguas, a los que se denomina ítems de anclaje. Dicha utilización sistemática de especificaciones de anclaje es necesaria con el fin de permitir que se establezca la dificultad relativa de las áreas de uso y de las escalas concretas. El uso de las de Sociedad y Turismo como anclaje partió de la suposición de que estas áreas demandan un núcleo común de dominio de la lengua y se puede esperar que proporcionen el mejor punto de referencia para equiparar las escalas de Trabajo y de Estudio.
Revisión textual
Un resultado de la primera fase ha sido la revisión textual de las escalas «Puede hacer». En concreto, se han eliminado especificaciones de orientación negativa, ya que demostraron ser problemáticas desde el punto de vista estadístico y no parecían totalmente apropiadas para descripciones de niveles de aprovechamiento. Aquí se muestran dos ejemplos del tipo de cambios realizado:
- Las especificaciones negativas se volvieron a redactar de
forma positiva, preservando el sentido original:
- Primera redacción: NO PUEDE contestar más que preguntas sencillas y predecibles.
- Redacción final: PUEDE contestar preguntas sencillas y predecibles.
- Las especificaciones utilizadas como calificación negativa de
una especificación de nivel bajo se transformaron en especificaciones positivas que
pretendían describir un nivel más alto.
- Primera redacción: NO PUEDE describir síntomas no visibles tales como distintos tipos de dolor; por ejemplo: «sordo», «agudo», «punzante», etc.
- Redacción final: PUEDE describir síntomas no visibles tales como distintos tipos de dolor; por ejemplo: «sordo»,«agudo», «punzante», etc.
Relación de las especificaciones de capacidad lingüística «Puede hacer» con los exámenes de ALTE
Después de la gradación inicial de las especificaciones «Puede hacer» y de la revisión textual descrita anteriormente, la atención se centra en el establecimiento de un enlace entre las escalas «Puede hacer» y otros indicadores de nivel lingüístico. En concreto, ha comenzado un análisis de la actuación llevada a cabo en los exámenes de ALTE y de la relación entre las escalas «Puede hacer» y los niveles del Marco de referencia del Consejo de Europa.
En diciembre de 1998 se comenzó la recogida de datos para unir las autoevaluaciones de los cuestionarios «Puede hacer» con las calificaciones de los exámenes de inglés como lengua extranjera de UCLES (University of Cambridge Local Examinations Syndicate) en distintos niveles. Se encontró una relación muy clara que hizo posible comenzar a describir el sentido de una calificación de examen en función de perfiles característicos de capacidad lingüística «Puede hacer».
Sin embargo, cuando las evaluaciones «Puede hacer» se basan en el autoinforme y provienen de una amplia serie de países y de grupos de participantes, se encuentra cierta variabilidad en la percepción general que los participantes tienen de sus propias capacidades. Es decir, las personas tienen tendencia a comprender «Puede hacer» de forma un tanto diferente por motivos que se pueden relacionar en parte con factores tales como la edad o el origen cultural. Para algunos grupos de participantes, esto debilita la correlación con sus calificaciones de examen. Se han elegido enfoques analíticos para establecer con la mayor claridad posible la relación entre las autoevaluaciones «Puede hacer» y los niveles de criterio del dominio de la lengua como los miden las calificaciones de examen. Probablemente será necesaria una mayor investigación basada en evaluaciones «Puede hacer», llevada a cabo por evaluadores experimentados, con el fin de caracterizar totalmente la relación existente entre las calificaciones de los exámenes y los perfiles de capacidad propios de las especificaciones «Puede hacer».
Un problema conceptual que hay que tratar en este contexto se refiere al concepto de dominio, es decir, ¿a qué nos referimos exactamente con la expresión «Puede hacer»? Se requiere una definición en función de la probabilidad con que esperamos que una persona tenga éxito en una tarea en un determinado nivel. ¿Significa que una persona logrará siempre llevar a cabo con éxito la tarea? Éste sería un requisito demasiado estricto. Por otro lado, una probabilidad de éxito del cincuenta por ciento sería demasiado baja para que se considerase dominio.
Se ha escogido la cifra de ochenta por ciento, dado que esta puntuación se utiliza a menudo en la evaluación referida al ámbito o al criterio como indicación de dominio en un ámbito dado. Por lo tanto, los candidatos que consiguen un aprobado normal en un examen de ALTE de un nivel dado, deberían tener el ochenta por ciento de probabilidad de éxito en tareas que se identifican como descriptores de ese nivel. Los datos recogidos hasta ahora de las personas que realizan exámenes de Cambridge, indican que esta cifra concuerda con su probabilidad media de confirmar las especificaciones «Puede hacer» en el nivel adecuado, y esta relación ha resultado ser bastante constante en todos los niveles de examen.
Al definir la expresión «Puede hacer» explícitamente de esta forma, tenemos una base para interpretar niveles concretos de ALTE en función de destrezas «Puede hacer».
Aunque la relación con la actuación en exámenes se ha basado hasta ahora en exámenes de Cambridge, se seguirán recogiendo los datos que enlazan especificaciones «ser capaz de» (can do) con la actuación en otros exámenes de ALTE, permitiéndonos comprobar que estos distintos sistemas de exámenes se relacionan esencialmente de la misma forma con el marco de cinco niveles de ALTE.
Anclaje con el Marco de referencia del Consejo de Europa
En 1999 se recogieron respuestas en las que el anclaje se lograba a partir de especificaciones tomadas del documento de 1996 del Marco de referencia europeo del Consejo de Europa. Los anclajes comprendían:
- Los descriptores que componen el cuadro de autoevaluación de categorías principales de uso de la lengua por nivel, presentados como cuadro 2 del capítulo 3.
- Dieciséis descriptores relacionados con los aspectos comunicativos de la fluidez, que aparecen en las escalas ilustrativas del capítulo 5.
Se eligió el cuadro 2 porque en la práctica se está utilizando mucho como descripción que resume los niveles. La capacidad que tiene ALTE de recoger datos de respuestas en un gran número de lenguas y de países contribuyó a la validación de las escalas del cuadro 2.
Se habían recomendado las especificaciones de «fluidez» porque habían resultado tener los cómputos de dificultad más estables cuando se midieron en distintos contextos del proyecto suizo (North 1996/2000). Se esperaba que permitieran así una buena equiparación de las especificaciones «Puede hacer» de ALTE con el Marco de referencia del Consejo de Europa. El cálculo de dificultades de las especificaciones de «fluidez» resultó concordar en gran medida con los datos ya conocidos (North 1966/2000), mostrando una correlación de r = 0,97. Esto constituye un anclaje excelente entre las especificaciones «Puede hacer» y las escalas utilizadas para ilustrar el Marco de referencia del Consejo de Europa.
Sin embargo, el uso del análisis Rasch para equiparar conjuntos de especificaciones (escalas) entre sí no es sencillo. Los datos nunca encajan en el modelo con exactitud: hay cuestiones de dimensionalidad, discriminación y función diferencial del ítem (variación sistemática de interpretación por parte de grupos distintos) que deben ser determinadas y tratadas para conseguir que se establezca la relación más verdadera posible.
La dimensionalidad se relaciona con el hecho de que, aunque las destrezas de Comprensión Auditiva/Expresión Oral, Comprensión de Lectura y Expresión Escrita tengan una alta correlación, aún existen diferencias, ya que el análisis en el que se encuentran separadas produce distinciones de nivel más coherentes y discriminatorias.
La discriminación de variables resulta evidente cuando comparamos el cuadro 2 y las especificaciones «Puede hacer». El cuadro 2 produce una escala más larga (para distinguir niveles más matizados) que las especificaciones «Puede hacer», lo cual probablemente sea debido a que el cuadro 2 representa el producto final de un largo proceso de selección, análisis y perfeccionamiento. El resultado de este proceso es que cada descripción de nivel es un compuesto de elementos característicos elegidos cuidadosamente, lo que facilita que los participantes en un nivel dado reconozcan el nivel que mejor los describe. Esto crea una estructura de respuestas más coherente, que a su vez genera una escala más larga, distinta de la forma presente de las especificaciones «Puede hacer», que aún son especificaciones breves y atómicas, no agrupadas todavía en descripciones de niveles tan terminadas y holísticas.
Los efectos del grupo (función diferencial del ítem) se evidencian en la observación de que determinados grupos de participantes (es decir, personas que completan los formularios Sociedad y Turismo, Trabajo o Estudio del cuestionario) discriminan mejor determinados niveles en determinadas escalas utilizadas como anclaje por motivos que ha resultado difícil determinar.
Ninguno de estos efectos es inesperado cuando se utiliza el enfoque del modelo de Rasch para equiparar escalas, e indican que una revisión sistemática y cualitativa de los textos de las especificaciones individuales sigue siendo una fase necesaria e importante para conseguir una equiparación definitiva de las escalas.
Niveles de dominio de la estructura de Niveles de ALTE
Hasta este momento, la estructura de ALTE es un sistema de cinco niveles. La validación descrita anteriormente confirma que estos niveles se corresponden en términos generales con los niveles del A2 al C2 del Marco de referencia del Consejo de Europa. Está en curso la labor de definir un nivel inicial más (Nivel Acceso), y el proyecto «Puede hacer» está contribuyendo a la caracterización de este nivel. Por tanto, la relación entre los dos marcos es la siguiente
Niveles del Consejo de Europa |
A1 |
A2 |
B1 |
B2 |
C1 |
C2 |
|---|---|---|---|---|---|---|
Niveles de ALTE |
Nivel Acceso de ALTE |
Nivel 1 de ALTE |
Nivel 2 de ALTE |
Nivel 3 de ALTE |
Nivel 4 de ALTE |
Nivel 5 de ALTE |
Las características principales de cada nivel de ALTE son las siguientes:
Nivel 5 de ALTE (usuario óptimo): capacidad para utilizar material con un alto nivel de exigencia académico o cognitivo y de causar una buena impresión en el uso de la lengua en un nivel de actuación que puede ser, en cierto sentido, más avanzado que el de un hablante nativo de tipo medio.
Ejemplo: PUEDE leer textos por encima para buscar información importante, PUEDE captar el tema principal del texto y leer con tanta rapidez como un hablante nativo.
Nivel 4 de ALTE (usuario competente): capacidad para comunicarse en la que destaca lo bien que lo hace en función de su adecuación, sensibilidad y capacidad para abordar temas no cotidianos.
Ejemplo: PUEDE responder a preguntas hostiles con seguridad. PUEDE tomar y mantener el turno de palabra.
Nivel 3 de ALTE (usuario independiente): capacidad para conseguir la mayor parte de sus objetivos y de expresarse en una cierta variedad de temas.
Ejemplo: PUEDE servir de guía a los visitantes y ofrecer una descripción detallada de un lugar.
Nivel 2 de ALTE (usuario del Nivel Umbral): capacidad para expresarse de forma limitada en situaciones cotidianas y de abordar de forma general información no rutinaria.
Ejemplo: PUEDE solicitar abrir una cuenta bancaria siempre que el procedimiento sea sencillo.
Nivel 1 de ALTE (usuario del Nivel Plataforma): capacidad para abordar información sencilla y clara, y comenzar a expresarse en contextos conocidos.
Ejemplo: PUEDE participar en una conversación rutinaria sobre temas sencillos y predecibles.
Nivel Acceso de ALTE: capacidad muy básica para comunicarse e intercambiar información de forma sencilla.
Ejemplo: PUEDE plantear preguntas sencillas respecto a un menú y comprender respuestas sencillas.
Obras de consulta
- Alderson, J. C. (1991), «Bands and scores», en Alderson, J. C. y North, B. (eds.), Language testing in the 1900s, Desarrollos en ELT, Londres, British Council/Macmillan, págs. 71-86.
- North, B. (1996/2000), The Development of a common framework scale of language proficiency, tesis doctoral, Thames Valley University, Reimpresa en 2000, Nueva York, Peter Lang.
- ALTE Handbook of Language Examinations and Examination System (disponible en la secretaría de ALTE en UCLES).
Si desea obtener más información sobre el proyecto ALTE, puede contactar con el secretariado de ALTE en la dirección electrónica Hirtzel.m@ucles.org.uk.
Documento D1: Resúmenes de niveles de destrezas de ALTE
Documento D2: Resumen de especificaciones de Sociedad y Turismo de ALTE
Documento D3: Especificaciones de Sociedad y Turismo de ALTE
Documento D4: Resumen de especificaciones de Trabajo de ALTE
Documento D5: Especificaciones de Trabajo de ALTE
Documento D6: Resumen de especificaciones de Estudio de ALTE
Documento D7: Especificaciones de Estudio de ALTE
