Comparison between machine learning and human learning from examples generated with machine teaching

Abstract

[EN] In contrast to the term widely known as Machine Learning, a successful branch of Artificial Intelligence (AI), the concept of Machine Teaching arises. One of its main objectives is the optimization of learning through the choice of labeled examples that will constitute the training set for the learning models. Recently, some approaches have focused on the use of these techniques to obtain examples for human learning. This application is strongly related to the field of explainable AI, more specifically to exemplar-based explanations, whose purpose is to convey to humans what a machine has learned. In this paper we propose to make a comparison of the learning process from examples generated by Machine Teaching among different learning systems like an inductive functional programming system (MagicHaskeller), a transformer-based deep neural network (GPT-2) and humans. To conclude, the effectiveness of the exemplar-based explanations using this setting is discussed. The obtained results highlight the necessity of providing additional information alongside the optimal example sets, extracted using the machine teaching setting applied in this work.

[ES] En contraste al término ampliamente conocido como aprendizaje automático (Machine Learning), rama de éxito en el campo de la Inteligencia Artificial (IA), surge el concepto de enseñanza automática (Machine Teaching). Uno de sus objetivos principales es la optimización del aprendizaje mediante la elección de ejemplos etiquetados que constituirán el conjunto de entrenamiento para los modelos de aprendizaje. Recientemente, se han empezado a desarrollar aproximaciones enfocadas a la utilización de estas técnicas de obtención de ejemplos centradas en el aprendizaje de humanos. Esta aplicación está fuertemente relacionada con el concepto de IA explicable, más concretamente con las explicaciones basadas en ejemplos, cuya finalidad es transmitir a los humanos aquello que una máquina ha aprendido. En este trabajo se propone realizar una comparación del proceso de aprendizaje desde ejemplos generados por Machine Teaching entre diferentes sistemas de aprendizaje como un sistema de programación funcional inductiva (MagicHaskeller), una red neuronal profunda basada en el modelo Transformer (GPT-2) y humanos. Para concluir, la efectividad de las explicaciones basadas en ejemplos con esta configuración es analizada. Los resultados obtenidos señalan la necesidad de proporcionar información adicional junto a los conjuntos óptimos de ejemplos, extraídos mediante la configuración de Machine Teaching aplicada en este trabajo.

[CA] En contrast al terme àmpliament conegut com aprenentatge automàtic (Machine Learning), branca d’èxit en el camp de la Intel·ligència Artificial (IA), sorgeix el concepte d’ensenyament automàtic (Machine Teaching). Un dels seus objectius principals és l’optimització de l’aprenentatge mitjançant l’elecció d’exemples etiquetats que constituiran el conjunt d’entrenament per als models d’aprenentatge. Recentment, s’han començat a desenvolupar aproximacions enfocades a la utilització d’aquestes tècniques d’obtenció d’exemples centrades en l’aprenentatge d’humans. Aquesta aplicació està fortament relacionada amb la branca de IA explicable, més concretament amb les explicacions basades en exemples, la finalitat dels quals és transmetre als humans allò que una màquina ha aprés. En aquest treball es proposa realitzar una comparació del procés d’aprenentatge des d’exemples generats per Machine Teaching entre diferents sistemes d’aprenentatge com un sistema de programació funcional inductiva (MagicHaskeller), una xarxa neuronal profunda basada en el model Transformer (GPT-2) i humans. Per a concloure, l’efectivitat de les explicacions basades en exemples amb aquesta configuració és analitzada. Els resultats obtinguts assenyalen la necessitat de proporcionar informació addicional junt als conjunts òptims d’exemples, extrets mitjançant la configuració de Machine Teaching aplicada en aquest treball.