Teaching activity recognition in lectures delivered at UPV

Abstract

[EN] In this project, we propose to build a system for recognizing teaching activities from automatic transcriptions of classroom video recordings. To this end, we identified various teaching activities that cover the nature of the lecturer discourse when giving a course eg. ’theoretical explanation’, ’problem solving’, ’real-world practical example’, ’interation lecturer-student’, ’course-related asides’, etc. We labeled a dataset of lecture transcriptions from the VideoApuntes repository of UPV and we solved a classification task with the XLM-RoBERTa model, an improved version of BERT (Bidirectional Encoder Representations from Transformers) with a classification layer on top of it. The results will show the high accuracy in classifying text segments of the discourse. Finally, we aim to conduct an experiment in order to identify the type of teaching activity reflected in a text segment using a binary decision tree.

[ES] En el presente TFG se propone la construcción de un sistema para el reconocimiento de actividades docentes a partir de transcripciones de grabaciones de audio en el aula. Para ello, identificamos un conjunto de actividades docentes que cubren todos los tipos de discurso académico que un docente puede emplear en el aula cuando imparte un curso tales como por ejemplo, "teoría", ’resolución de ejercicios",”ejemplos prácticos del mundo real", ”interacción entre profesor y estudiante", ”organización y gestión de la asignatura", etc. Además, creamos un dataset a partir de las transcripciones de clases grabadas con el servicio VideoApuntes de la UPV y etiquetamos segmentos de las transcripciones con el tipo de discurso correspondiente. Posteriormente, diseñamos una tarea de clasificación que se resuelve con el modelo XLM-RoBERTa, una versión mejorada de BERT (Bidirectional Encoder Representations from Transformers) sobre el que se ha diseñado una capa de clasificación. Los resultados muestran un alto nivel de precisión en la clasificación de segmentos de texto del discurso académico que emplean los profesores en la impartición de asignaturas. Por último, se pretende diseñar un método para identificar el tipo de actividad docente que se refleja en un segmento de transcripción a partir de un arbol de clasificación binario.

[CA] En el present TFG es proposa la construcció d’un sistema per al reconeixement d’activitats docents a partir de transcripcions d’gravacions d’àudio a l’aula. Per a això, identifiquem un conjunt d’activitats docents que cobreixen tots els tipus de discurs acadèmic que un docent pot emprar a l’aula quan imparteix un curs, com per exemple, "teoria", "resolució d’exercicis", "exemples pràctics del món real", ”interacció entre professor i estudiant", "organització i gestió de l’assignatura", etc. A més, creem un dataset a partir de les transcripcions de classes gravades amb el servei VideoApuntes de la UPV i etiquetem segments de les transcripcions amb el tipus de discurs corresponent. Posteriorment, dissenyem una tasca de classificació que es resol amb el model XLM-RoBERTa, una versió millorada de BERT (Bidirectional Encoder Representations from Transformers) sobre el que s’ha dissenyat una capa de classificació. Els resultats mostren un alt nivell de precisió en la classificació de segments de text del discurs acadèmic que empren els professors en la impartició d’assignatures. Finalment, es pretén dissenyar un mètode per a identificar el tipus d’activitat docent que es reflecteix en un segment de transcripció a partir d’un arbre de classificació binari.