El efecto del empleo de anclas verbales o numéricas en una rúbrica para evaluar presentaciones orales, sobre la consistencia de las puntuaciones de los alumnos universitarios

Abstract

[EN] In this paper we compare the use of two versions of a rubric for evaluation by university students, of oral presentations of their peers. We have analyzed two sets of data from Industrial Engineering students: 29 presentations (449 independent evaluations) in 2004 and 36 presentations (468 independent evaluations) in 2013. Contrary to expectations the consistency of assessments using improved rubric (second version) are worse than the first. But this may be due to differences in how to perform the evaluation activity with students

[ES] En este trabajo comparamos el uso de dos versiones de una rúbrica para la evaluación, por parte de alumnos universitarios, de las presentaciones orales de sus compañeros. Hemos analizado dos conjuntos de datos provenientes de estudiantes de Ingeniería de Organización Industrial: 29 presentaciones (449 evaluaciones independientes) en el año 2004 y 36 presentaciones (468 evaluaciones independientes) en el año 2013. Contrariamente a lo esperado la consistencia de las evaluaciones de la rúbrica mejorada (segunda versión) son peores que la primera. Pero esto puede ser debido a las diferencias en el modo de realizar la actividad de evaluación con los alumnos.