Un marco teórico sobre el uso de actividades de comprensión audiovisual con preguntas sobreimpresas en el vídeo y sincronizadas con los fragmentos relevantes para el aprendizaje y la evaluación de lenguas extranjeras: una investigación mixta multifase

Abstract

[EN] Listening, watching, reading and writing simultaneously in a foreign language is very difficult. On the one hand, there is a conflict of visual attention between viewing a video and completing a written activity at the same time. On the other hand, paying attention to the image, the audio, and the task simultaneously can lead to working memory overload.

The aim of this thesis by publication was to develop a framework for using audiovisual comprehension questions imprinted in the video image in the form of subtitles and synchronized with the relevant fragments, for the purpose of foreign language learning and testing. Compared to viewings where the comprehension activity is available only on paper, this innovative technique may provide some benefits. For example, it could minimize the conflict in visual attention between watching the video and completing the task, by spatially and temporally approximating the questions and the relevant fragments. This methodology could be especially beneficial for adult students with a low level of language proficiency.

A multiphase mixed methods design was employed. The investigation involved several interrelated studies, with the purpose of (a) ascertaining the opinions of specialists in teaching Spanish as a Foreign Language (SFL), Spanish linguistics and/or the use of technology, SFL university teachers, and adult SFL learners about this methodology, and (b) researching whether the viewing comprehension questions as video captions had an impact on test-takers' performance and visual behaviour in a SFL test.

Overall, experts, SFL students and SFL teachers have positive opinions about this technique. Imprinted questions do not have a statistically significant effect on SFL learners' audiovisual comprehension test performance. However, imprinted questions increase the amount of time that test-takers watch the video in an statistically significant way.

The main contribution of the thesis lies in the fact that we have formulated a framework for using audiovisual comprehension questions imprinted in the video image based on a thorough literature review and empirical research.

[ES] Escuchar, ver, leer y escribir simultáneamente en una lengua extranjera es muy complicado. Por una parte, existe un conflicto de atención visual entre ver un vídeo y completar una actividad escrita al mismo tiempo. Por otra parte, prestar atención a la imagen, al audio, y a la tarea simultáneamente puede llevar a la saturación de la memoria de trabajo.

El propósito de esta tesis por compendio era desarrollar un marco teórico sobre el uso de preguntas de comprensión audiovisual sobreimpresas en la imagen del vídeo en forma de subtítulos y sincronizadas con los fragmentos relevantes para el aprendizaje y evaluación de lenguas extranjeras. En comparación con visionados donde la actividad de comprensión está disponible solo en papel, esta técnica innovadora podría aportar varios beneficios. Por ejemplo, podría reducir el conflicto de atención visual entre observar el vídeo y completar la tarea, al aproximar espacial y temporalmente las preguntas y los fragmentos relevantes. Esta metodología se considera especialmente beneficiosa para estudiantes adultos de niveles iniciales.

Se utilizó un diseño mixto multifase. La investigación implicó la realización de varios estudios interrelacionados que tenían la finalidad de (a) conocer la opinión de expertos en didáctica del español como lengua extranjera (ELE), lingüística española y/o en el uso de la tecnología, profesores universitarios de ELE y estudiantes adultos de ELE sobre esta metodología, y (b) averiguar si las preguntas de comprensión sobreimpresas en el vídeo tenían algún impacto en el desempeño y la conducta visual de los examinandos en una prueba de ELE.

Globalmente, los expertos, los estudiantes de ELE y los profesores de ELE tienen opiniones positivas sobre esta técnica. Las preguntas sobreimpresas no tienen un efecto estadísticamente significativo en el rendimiento de los examinandos en una prueba de comprensión audiovisual de ELE. Sin embargo, incrementan la cantidad de tiempo que los examinandos observan el texto audiovisual de forma estadísticamente significativa.

La contribución principal de la tesis reside en el hecho de que hemos formulado un marco teórico sobre el uso de preguntas de comprensión audiovisual sobreimpresas en la imagen del vídeo sobre la base de una revisión exhaustiva de la literatura y una investigación empírica.

[CA] Escoltar, veure, llegir i escriure simultàniament en una llengua estrangera és molt complicat. D'una banda, existeix un conflicte d'atenció visual entre veure un vídeo i completar una activitat escrita al mateix temps. D'altra banda, prestar atenció a la imatge, l'àudio, i a la tasca simultàniament pot portar a la saturació de la memòria de treball.

El propòsit d'aquesta tesi per compendi era desenvolupar un marc teòric sobre l'ús de preguntes de comprensió audiovisual sobreimpreses en la imatge del vídeo en forma de subtítols i sincronitzades amb els fragments rellevants per a l'aprenentatge i l'avaluació de llengües estrangeres. En comparació amb visionats en què l'activitat de comprensió està disponible només en paper, aquesta tècnica innovadora podria aportar diversos beneficis. Per exemple, podria reduir el conflicte d'atenció visual entre observar el vídeo i completar la tasca, en apropar espacialment i temporalment les preguntes i els fragments rellevants. Aquesta metodologia es considera especialment beneficiosa per a estudiants adults de nivells inicials.

Es va utilitzar un disseny mixt multifase. La investigació va implicar la realització de diversos estudis interrelacionats que tenien la finalitat de (a) conèixer l'opinió d'experts en didàctica de l'espanyol com a llengua estrangera (ELE), lingüística espanyola i/o en l'ús de la tecnologia, professors universitaris d'ELE i estudiants adults d'ELE sobre aquesta metodologia, i (b) esbrinar si les preguntes de comprensió sobreimpreses al vídeo tenien algun impacte en el rendiment i la conducta visual dels examinands en una prova d'ELE.

Globalment, els experts, els estudiants d'ELE i els professors d'ELE tenen opinions positives sobre aquesta tècnica. Les preguntes sobreimpreses no tenen un efecte estadísticament significatiu en el rendiment dels examinands en una prova de comprensió audiovisual de ELE. No obstant això, incrementen la quantitat de temps que els examinands observen el text audiovisual de manera estadísticament significativa.

La contribució principal de la tesi rau en el fet que hem formulat un marc teòric sobre l'ús de preguntes de comprensió audiovisual sobreimpreses en la imatge del vídeo sobre la base d'una revisió exhaustiva de la bibliografia i una investigació empírica.