La evaluación de la competencia pragmática en lengua extranjera a través de una prueba adaptativa

Abstract

[EN] ABSTRACT Most standardized tests of English as a second language (ESL) and / or Foreign Language (EFL) are high stake tests, and a growing number of these offers two versions: a traditional pen & paper, and a computerized one. Some examining bodies also implement adaptive tests. The technological advance of these standardized tests, usually commercial, it is clear and beneficial at first sight. However, some important aspects of the curriculum such as pragmatic competence are not usually measured by such tests. The only computerized tests that include items that measure this competence in their written tests are the Next generation TOEFL iBT test, and the Oxford Online Placement Test (OOPT). This thesis aims to check if the OOPT, which is used to certify levels of EFL, is a valid indicator of the skills of interest such as pragmalinguistic competence and also to show whether this ability is measured appropriately for the intended use. Moreover, it delves into the reasons why a group of 44 students taking a first year course at the Facultat de Magisteri (University of Valencia) miss questions in the OOPT that specifically assess their pragmalinguistic competence. Unlike previous studies, the interest of this thesis resides in the fact it analyzes not only what kind of test method facets influence these students production of errors, but also the personal characteristics involved in their error production. All of that, from a cognitive and meta-linguistic perspective, according to the students own perception. For this purpose, a retrospective questionnaire was designed and administered to the group. Several quantitative analyses (correlation, multiple regression and correspondence) were implemented to analyze the concurrent validity of the test, the weight of pragmatic ability in the assessment, and the reasons for errors, in that order. Moreover a descriptive analysis of pragmatic items was conducted to check the content validity of the pragmatics part of the OOPT. The results clearly indicate which skills require greater attention from both, teachers and designers of this type of tests. The analysis indicates that the pragmatic block, along with the listening one, holds the highest number of errors made by examinees. Moreover, the main reason highlighted by them as source of errors is the lack of certain lexical units contained in the pragmatics items. Finally, some proposals consistent with the results are presented in order to help improve the quality of adaptive language testing. Also some ideas are suggested to overcome current limitations in the teaching of pragmalinguistic competence in EFL formal academic contexts.

[ES] RESUMEN La mayoría de pruebas estandarizadas de inglés como segunda lengua (ISL) y /o lengua extranjera (ILE) son pruebas de alto impacto, y un número cada vez mayor de éstas ofrece dos versiones: una tradicional en papel, y otra informatizada. Algunos cuerpos examinadores implementan además pruebas adaptativas. El avance tecnológico de estas pruebas estandarizadas, por lo general comerciales, es evidente y beneficioso a priori. Sin embargo, algunos aspectos importantes del currículo como la competencia pragmática no suelen ser medidos por este tipo de pruebas. Las únicas pruebas informatizadas que incluyen ítems que miden ésta competencia en sus pruebas escritas son el Next generation TOEFL¿ iBT test, y el Oxford Online Placement Test (OOPT). En la presente tesis se pretende en primer lugar, comprobar si el OOP, utilizado para certificar niveles de ILE/ISL, es un indicador válido de las habilidades de interés tales como la competencia pragmalingüística, así como también evidenciar si esta habilidad es medida apropiadamente para el uso que se pretende. Por otra parte, se profundiza en las causas por las que un grupo de 44 estudiantes que cursan la asignatura de Lengua Inglesa para Maestros de primer curso en la Facultat de Magisteri (Universitat de València) yerran las preguntas del OOPT que evalúan específicamente su competencia pragmálingüística. A diferencia de estudios anteriores, el interés de la presente tesis estriba en que en ella se investiga desde una perspectiva cognitiva y metalingüística, no solo qué tipo de factores de método pueden influir en la producción de errores de los examinandos, sino también, qué factores individuales intervienen según su propia percepción. Para tal fin se diseñó y administró a los examinandos un cuestionario retrospectivo. Se implementaron varios análisis cuantitativos (correlacional, de regresión múltiple y de correspondencia) para analizar la validez concurrente de la prueba, el peso en la evaluación de la parte de pragmática y los motivos de error respectivamente. Por otra parte se realizó un análisis descriptivo de las preguntas de pragmática para comprobar la validez de contenido de la parte de pragmática del OOPT. Los resultados obtenidos señalan claramente cuáles son las habilidades que requieren mayor atención por parte tanto de los profesores como de los diseñadores de este tipo de pruebas. El análisis indica que el bloque de pragmática es, junto con el de comprensión oral, el que mayor número de errores cometidos por los examinandos ostenta. Por otra parte, el motivo fundamental destacado por los examinandos como causa de error es el desconocimiento de ciertas unidades léxicas contenidas en los ítems de pragmática. Finalmente en esta tesis se presentan propuestas en consonancia con los resultados obtenidos que pueden redundar en una mejora de la calidad de las pruebas de lengua adaptativas y en la superación de algunas limitaciones actuales en la enseñanza de la competencia pragmalingüística en ILE/ISL en contextos académicos formales.

[CA] RESUM La majoria de proves estandarditzades d'anglès com a segona llengua (AL2) i / o llengua estrangera (ALE) són proves d'alt impacte, i un nombre cada vegada major d'aquestes ofereix dues versions: una tradicional en paper, i una altra informatitzada. Alguns cossos examinadors implementen més proves adaptatives. L'avanç tecnològic d'aquestes proves estandarditzades, en general comercials, és evident i beneficiós a priori. No obstant això, alguns aspectes importants del currículum com la competència pragmàtica no solen ser mesurats per aquest tipus de proves. Les úniques proves informatitzades que inclouen ítems que mesuren aquesta competència en les seves proves escrites són el Next generation TOEFL¿ iBT test, i l'Oxford Online Placement Test (OOPT). En la present tesi es pretén en primer lloc, comprovar si el OOP, utilitzat per certificar nivells de ALE / AL2, és un indicador vàlid de les habilitats d'interès com ara la competència pragmalingüística, així com també evidenciar si aquesta habilitat es mesura apropiadament per l'ús que es pretén. D'altra banda, s'aprofundeix en les causes per les quals un grup de 44 estudiants que cursen l'assignatura de Llengua Anglesa per a Mestres de primer curs a la Facultat de Magisteri (Universitat de València) erren les preguntes del OOPT que avaluen específicament la seva competència pragmalingüística. A diferència d'estudis anteriors, l' interès de la present tesi rau en el fet que en ella s'investiga des d'una perspectiva cognitiva i metalingüística, no només quin tipus de factors de mètode poden influir en la producció d'errors dels examinands, sinó també, quins factors individuals intervenen segons la seva pròpia percepció. Per a tal fi es va dissenyar i va administrar als examinands un qüestionari retrospectiu. Es van implementar diverses anàlisis quantitatius (correlacional, de regressió múltiple i de correspondència) per analitzar la validesa concurrent de la prova, el pes en l'avaluació de la part de pragmàtica i els motius d'error respectivament. D'altra banda es va realitzar una anàlisi descriptiva de les preguntes de pragmàtica per comprovar la validesa de contingut de la part de pragmàtica del OOPT. Els resultats obtinguts assenyalen clarament quines són les habilitats que requereixen més atenció per part tant dels professors com dels dissenyadors d'aquest tipus de proves. L'anàlisi indica que el bloc de pragmàtica és, juntament amb el de comprensió oral, el que major nombre d'errors comesos pels examinands ostenta. D'altra banda, el motiu fonamental destacat pels examinands com a causa d'error és el desconeixement de certes unitats lèxiques que contenen els ítems de pragmàtica. Finalment en aquesta tesi es presenten propostes d'acord amb els resultats obtinguts que poden redundar en una millora de la qualitat de les proves de llengua adaptatives i en la superació d'algunes limitacions actuals en l'ensenyament de la competència pragmalingüística en ALE / AL2 en contextos acadèmics formals.