Comparación de técnicas de generación de código

Abstract

[EN] In the digital age, as the need for code increases, there is a shift towards no-code platforms that democratise software development by enabling users to build applications without traditional programming skills through intuitive interfaces. Programming-by-Examples (PBE) extends this trend by generating code from input-output examples, simplifying programming by inferring the underlying logic required. This approach, rooted in Inductive Programming (IP), improves accessibility and automation of programming by deriving general rules from examples. Large Language Models (LLMs) have demonstrated general capabilities in text generation for a wide range of tasks. In particular, this technology has demonstrated powerful capabilities for generating code from natural language examples. However, research has predominantly concentrated on code generation from natural language descriptions, with relatively little attention paid to other domains, such as PBE. This presents a significant opportunity to evaluate the effectiveness of LLMs in PBE. This study examines the ability of LLMs to generate code from a curated dataset of typical and atypical tasks in Python and Haskell, with the aim of assessing the potential and limitations of using LLMs to advance PBE.

[ES] En la era digital, a medida que aumenta la necesidad de código, se produce un cambio hacia plataformas sin código que democratizan el desarrollo de software al permitir a los usuarios crear aplicaciones sin conocimientos tradicionales de programación a través de interfaces intuitivas. La programación por ejemplos (PBE) amplía esta tendencia generando código a partir de ejemplos de entrada-salida, simplificando la programación al inferir la lógica subyacente necesaria. Este enfoque, arraigado en la Programación Inductiva (IP), mejora la accesibilidad y la automatización de la programación derivando reglas generales a partir de ejemplos. Los grandes modelos del lenguaje (LLM) han demostrado sus capacidades generales en la generación de textos para una amplia gama de tareas. En particular, esta tecnología ha demostrado potentes capacidades para generar código a partir de ejemplos de lenguaje natural. Sin embargo, la investigación se ha centrado predominantemente en la generación de código a partir de descripciones en lenguaje natural, prestando relativamente poca atención a otros dominios, como la programacion por ejemplos. Esto supone una gran oportunidad para evaluar la eficacia de los LLMs en PBE. Este estudio examina la capacidad de los LLM para generar código a partir de un conjunto de datos curados de tareas típicas y atípicas en Python y Haskell, con el objetivo de evaluar el potencial y las limitaciones del uso de LLM para avanzar en PBE.

[CA] En l’era digital, a mesura que augmenta la necessitat de codi, es produeix un canvi cap a plataformes sense codi que democratitzen el desenvolupament de programari en permetre als usuaris crear aplicacions sense coneixements tradicionals de programació a través d’interfícies intuïtives. La programació per exemples (PBE) amplia aquesta tendència generant codi a partir d’exemples d’entrada-eixida, simplificant la programació en inferir la lògica subjacent necessària. Aquest enfocament, arrelat en la Programació Inductiva (IP), millora l’accessibilitat i l’automatització de la programació derivant regles generals a partir d’exemples. Els grans models del llenguatge (LLM) han demostrat les seues capacitats generals en la generació de textos per a una àmplia gamma de tasques. En particular, aquesta tecnologia ha demostrat potents capacitats per a generar codi a partir d’exemples de llenguatge natural. No obstant això, la investigació s’ha centrat predominantment en la generació de codi a partir de descripcions en llenguatge natural, prestant relativament poca atenció a altres dominis, com la programació per exemples. Això suposa una gran oportunitat per a avaluar l’eficàcia dels LLMs en PBE. Aquest estudi examina la capacitat dels LLM per a generar codi a partir d’un conjunt de dades curades de tasques típiques i atípiques en Python i Haskell, amb l’objectiu d’avaluar el potencial i les limitacions de l’ús de LLM per a avançar en PBE.