Análisis de la calidad de exámenes de alternativa múltiple a través de la teoría de respuesta al item: aplicación en la asignatura de “Evaluación Psicològica”

Abstract

[EN] Multiple Choice testing (MCT) is one of the most popular approaches to the assessment of knowledge acquisition. Preparing a MCT is complex; however, its metric quality (in terms of difficulty, discrimination capacity, or distractors effectiveness) is not usually assessed. “Item Response Theory" (IRT) is a statistical approach that may assist when evaluating the quality of a MCT. IRT lets to estimate indices that may be used later as a way to improve the quality of the assessment. The aim of this work was to present the results of a teaching innovation project in which the IRT was employed to analyze the MCT used during the last 3 courses in the subject «Psychological Evaluation» (Degree in Speech Therapy). Results suggested that a significant proportion of the questions analyzed presented certain limitations, such as the excessive prevalence of easy items (between 45%-67.5%) or ineffective distractors (between 17.5%-26.6%). Yet, these issues did not impact the discrimination capacity of the MCT. These results serve as a basis for proposing initiatives to improve evaluations through MCT, which ultimately will result in a fairer and more balanced evaluation of the students of the subject.

[ES] Los Exámenes de Alternativa Múltiple (EAM) son la forma más popular de evaluar la adquisición de conocimiento. Elaborar un EAM entraña cierta complejidad; sin embargo, rara vez se analiza en qué grado los EAM cumplen los criterios de calidad exigibles a estas pruebas (p.e., en términos de dificultad, capacidad de discriminación o eficacia de los distractores). La «Teoría de Respuesta al Ítem (TRI)» es una aproximación estadística que puede ayudar a la hora de evaluar la calidad de un EAM a través de la obtención de índices objetivos que, en una fase posterior, se pueden usar para mejorar la evaluación. El objetivo de este trabajo es presentar los resultados de un Proyecto de Innovación Docente en el que se analizó, mediante TRI, los EAM usados durante los últimos tres cursos en la asignatura «Evaluación Psicológica» (Grado en Logopedia). Los resultados sugieren que una proporción importante de preguntas analizadas presentaban limitaciones relacionadas con la excesiva presencia de ítems fáciles (entre el 45%-67.5%) o distractores ineficaces (entre el 17.5%-26.6%), si bien esto no afectó sobre su capacidad de discriminación. Estos resultados sirven de base para proponer iniciativas que permitan mejorar las evaluaciones a través de EAM.