Automated Annotation of Meta-Features for Predicting Language Model Performance in Natural Language Processing Tasks

Abstract

[EN] Large language models can be used for a wide range of tasks. The performance on each task instance depends on the specific characteristics of the question (e.g., knowledge or reasoning required) but also on its linguistic components (such as syntactic or semantic elaboration). It is important to determine whether failures depend on the specific elements of the task or on a more general linguistic factor. To this aim, this project introduces new methods to evaluate the base linguistic complexity of any task that is expressed in natural language, by identifying and annotating a set of linguistic meta-features that may affect performance. This work proposes a comprehensive list of meta-features, such as the presence of uncertainty, negation or reasoning. For each meta-feature, we identify a set of difficulty levels, and write a rubric to map each example to one of these levels. Using this rubric, we automate the process also using large language models, such as GPT. To validate the meta-features and their annotations, both univariate and multivariate analyses are performed to demonstrate the predictability of performance based on meta-feature levels. Large repositories such as BIG-bench and HELM are used for this validation, providing instance-level results for many models and tasks. The project explores the advantages and disadvantages of this automated annotation method, highlighting its flexibility and scalability. However, it also acknowledges the need for post-processing, the cost of tokens, the need for an initial pool of annotated examples, and the prompting engineering effort. By analysing performance on an illustrative set of tasks and models from the previous repositories, the main take-away of this work is to demonstrate the general applicability of the meta-feature approach, its effectiveness and its value in assessing the complexity of NLP tasks.

[CA] Els grans models de llenguatge poden utilitzar-se per a una àmplia gamma de tasques. El rendiment en cada instància de la tasca depén de les característiques específiques de la pregunta (per exemple, el coneixement o el raonament necessari), però també dels seus components lingüístics (com l’elaboració sintàctica o semàntica). És important determinar si les fallades depenen dels elements específics de la tasca o d’un factor lingüístic més general. Amb aquest objectiu, aquest projecte introdueix nous mètodes per a avaluar la complexitat lingüística de qualsevol tasca que s’expresse en llenguatge natural, mitjançant la identificació i anotació d’un conjunt de meta-característiques lingüístiques que poden afectar el rendiment. Aquest treball proposa una llista exhaustiva de meta-característiques, com la presència d’incertesa, negació o raonament. Per a cada meta-característica, identifiquem un conjunt de nivells de dificultat i escrivim una rúbrica per a assignar cada exemple a un d’aquests nivells. A partir d’aquesta rúbrica, automatitzem el procés utilitzant també grans models de llenguatge, com GPT. Per a validar les meta-característiques i les seues anotacions, es realitzen anàlisis univariants i multivariants per a demostrar la predictibilitat del rendiment en funció dels nivells de meta-característiques. Per a aquesta validació s’utilitzen grans repositoris com BIG-bench i HELM, que proporcionen resultats a nivell d’instància per a molts models i tasques. El projecte explora els avantatges i inconvenients d’aquest mètode d’anotació automatitzada, destacant la seua flexibilitat i escalabilitat. No obstant això, també es reconeix la necessitat de postprocessament, el cost dels tokens, la necessitat d’un conjunt inicial d’exemples anotats i l’esforç de prompt engineering. En analitzar el rendiment en un conjunt il·lustratiu de tasques i models dels repositoris anteriors, el principal resultat d’aquest treball és demostrar l’aplicabilitat general de l’enfocament de les meta-característiques, la seua eficàcia i el seu valor per a avaluar la complexitat de les tasques de NLP.

[ES] Los grandes modelos de lenguaje pueden utilizarse para una amplia gama de tareas. El rendimiento en cada instancia de la tarea depende de las características específicas de la pregunta (por ejemplo, el conocimiento o el razonamiento necesario), pero también de sus componentes lingüísticos (como la elaboración sintáctica o semántica). Es importante determinar si los fallos dependen de los elementos específicos de la tarea o de un factor lingüístico más general. Con este objetivo, este proyecto introduce nuevos métodos para evaluar la complejidad lingüística de cualquier tarea que se exprese en lenguaje natural, mediante la identificación y anotación de un conjunto de meta-características lingüísticas que pueden afectar al rendimiento. Este trabajo propone una lista exhaustiva de meta-características, como la presencia de incertidumbre, negación o razonamiento. Para cada meta-característica, identificamos un conjunto de niveles de dificultad y escribimos una rúbrica para asignar cada ejemplo a uno de estos niveles. A partir de esta rúbrica, automatizamos el proceso utilizando también grandes modelos de lenguaje, como GPT. Para validar las meta-características y sus anotaciones, se realizan análisis univariantes y multivariantes para demostrar la predictibilidad del rendimiento en función de los niveles de meta-características. Para esta validación se utilizan grandes repositorios como BIG-bench y HELM, que proporcionan resultados a nivel de instancia para muchos modelos y tareas. El proyecto explora las ventajas e inconvenientes de este método de anotación automatizada, destacando su flexibilidad y escalabilidad. Sin embargo, también se reconoce la necesidad de postprocesamiento, el coste de los tokens, la necesidad de un conjunto inicial de ejemplos anotados y el esfuerzo de prompt engineering. Al analizar el rendimiento en un conjunto ilustrativo de tareas y modelos de los repositorios anteriores, el principal resultado de este trabajo es demostrar la aplicabilidad general del enfoque de las meta-características, su eficacia y su valor para evaluar la complejidad de las tareas de NLP.