Implementación de casos de prueba negativos en actividades VPL de Moodle

Abstract

[ES] VPL (Virtual Programming Lab) es un plugin de Moodle que permite automatizar la evaluación del código de un programa escrito en un determinado lenguaje de programación. Actualmente, VPL solo permite configurar casos de prueba positivos durante la evaluación, es decir, posibilita mostrar un mensaje de error al estudiante cuando la salida del programa difiere de la esperada para cada caso. Esto limita la identificación del tipo de error cometido y su consecuente retroalimentación, ya que podrían existir problemas para los que sea conveniente comprobar si se obtiene una salida específica que no debería darse y que estaría motivada por algún error que se está cometiendo en el programa. Este trabajo presenta una mejora para paliar esta limitación que consiste en incluir casos de prueba negativos en el proceso de evaluación de VPL, de manera que también se pueda mostrar un mensaje de error cuando la salida del programa coincida con la configurada para cada uno de los errores previstos en el problema a resolver. Dicha mejora facilita al docente la identificación de errores previsibles en el código que entrega el estudiante y permite, en cierto modo, orientarle hacia el tipo de error cometido sin que este conozca el caso de prueba que lo provocó.

[EN] VPL (Virtual Programming Lab) is a Moodle plugin that automates the code evaluation of a program written in a given programming language. Currently, VPL only allows the configuration of positive test cases during the evaluation, i.e. it makes it possible to display an error message to the student when the output of the program differs from the expected output for each case. This limits the identification of the type of error committed and its consequent feedback, since there could be problems for which it is necessary to check if a specific output is obtained that should not be given and that would be motivated by some logical error that is not being controlled in the program. This work presents an improvement to alleviate this limitation, which consists of including negative test cases in the VPL evaluation process, so that an error message can also be displayed when the output of the program matches the one configured for each of the errors expected in the problem to be solved. This improvement makes it easier for the teacher to identify potential errors in the code delivered by the student and allows, in some way, to guide the student towards the type of error committed without the student knowing the test case that caused it.