Students perception of auto-scored online exams in blended assessment: feedback for improvement

Abstract

[ES] El desarrollo de las tecnologías de la información y la comunicación ha producido un incremento del uso de la Computer Based Assessment (CBA, evaluación basada en ordenadores). en la educación superior. En la última década, ha habido un debate sobre los exámenes online vs los escritos tradicionales. El objetivo del presente estudio ha sido verificar si los estudiantes tienen prejuicios sobre los exámenes online con corrección automática, y si ese es el caso, determinar los motivos. El estudio se realizó en el contexto de una evaluación mixta que implicó a 1200 estudiantes matriculados en una asignatura de física de primer curso universitario. De entre ellos, 463 respondieron a una encuesta anónima. Del análisis cuantitativo de la encuesta surgieron tres factores (etiquetados «F1-Learning», «F2-Use of Tool» y «F3-Assessment»), y se estableció una escala aditiva. Hemos encontrado diferencias significativas en el factor «F3-Assessment» en comparación con los otros dos factores, lo que indica una menor aceptación de la herramienta para la evaluación del estudiante. Parece ser que, a pesar de que los estudiantes están acostumbrados a los ordenadores, tienen una falta de confianza en los exámenes online. Para reforzar y matizar los resultados cuantitativos de la encuesta, incluimos una pregunta abierta y realizamos una entrevista a un pequeño grupo de 11 estudiantes. Aunque sus comentarios fueron en general positivos, especialmente sobre la facilidad de uso y sobre su utilidad para conocer el nivel alcanzado durante el proceso de aprendizaje, hubo algunas críticas sobre la claridad de las preguntas y el rigor del sistema de puntuación. Estos dos factores, entre otros, podrían ser la causa de la peor percepción del factor «F3-Assessment» y el origen de las reticencias de los estudiantes a los exámenes online y a la corrección automática.

[EN] Development of the information and communication technologies has led to an increase in the use of Computer Based Assessment (CBA) in higher education. In the last decade, there has been a discussion on online versus the traditional pen-and-paper exams. The aim of this study was to verify whether students have reserves about auto-scored online exams, and if that is the case, to determine the reasons. The study was performed in the context of a blended assessment in which 1200 students were enrolled on a first-year physics university course. Among them, 463 answered an anonymous survey, supplemented by information obtained from an open-ended question and from interviews with students. Three factors (labelled `F1-Learning,¿ `F2-Use of Tool,¿ and `F3-Assessment¿) emerged from the quantitative analysis of the survey, and an additive scale was established. We found significant differences in the `F3-Assessment¿ factor compared to the other two factors, indicating a lower acceptance of the tool for student assessment. It seems that even though students are used to computers, they have a lack of confidence in online exams. We carried out an in-depth survey on this topic in the form of an open-ended question and by interviewing a small group of 11 students to confer strength and nuance to the quantitative results of the survey. Although their comments were in general positive, especially on ease-of-use and on its usefulness in indicating the level achieved during the learning process, there was also some criticism of the clarity of questions and the strictness system of marking. These two factors, among others, could have been the cause of the worse perception of F3-Assessment and the origin of the students¿ reluctances of online exams and automatic scoring.