Development of a large language model executable on Raspberry Pi for space applications

Abstract

[ES] Este trabajo es una colaboración con Pluton UPV, un grupo de Generación Espontánea que tiene como objetivo desarrollar un nanosatélite CubeSat con la particularidad de que este satélite será capaz de ejecutar un asistente conversacional o chatbot mientras orbita la Tierra, permitiendo a los usuarios en tierra comunicarse en tiempo real con el chatbot.

El objetivo de este proyecto es realizar un primer acercamiento hacia ese chatbot mediante el desarrollo de un modelo de lenguaje especializado en responder preguntas relacionadas con el espacio y la exploración espacial. Utilizaremos tecnologías como transformers y nos apoyaremos en modelos de lenguaje ya existentes (por ejemplo, LLaMA-2, Alpaca, Gemma, etc.), realizando fine-tuning sobre ellos con un dataset desarrollado exclusivamente para el satélite. Este modelo no solo responderá preguntas sobre temas espaciales, sino que también proporcionará datos reales de la telemetría del satélite y será capaz de tratar cualquier tema.

Uno de los objetivos clave de la misión espacial de Pluton UPV es demostrar la viabilidad de ejecutar inteligencia artificial en el espacio. Por lo tanto, el modelo desarrollado deberá ser capaz de ejecutarse en un hardware similar al del módulo computacional que tendrá el nanosatélite a bordo, es decir, una Raspberry Pi, lo cual representa el principal desafío de este desarrollo.

El proyecto se dividirá en cuatro fases principales: el desarrollo de un dataset propio con los temas que el modelo debe abordar, el fine-tuning de un modelo elegido para especializarlo en ese dataset, la implementación de dicho modelo en una Raspberry Pi y su ejecución eficiente, y finalmente, una evaluación del sistema final, midiendo la calidad y el consumo energético.

[EN] This work is a collaboration with Pluton UPV, a group from Spontaneous Generation that aims to develop a CubeSat nanosatellite with the particularity that this satellite will be able to run a conversational assistant or chatbot while orbiting the Earth, allowing users on the ground to communicate in real time with the chatbot.

The goal of this project is to make a first approach to this chatbot by developing a language model specialized in question answering tasks related to space and space exploration. We will use technologies such as transformers and we will rely on existing language models (e.g. LLaMA-2, Alpaca, Gemma, etc.), fine-tuning them with a dataset developed exclusively for the satellite. This model will not only answer questions on space topics, but will also provide real satellite telemetry data and will be able to address any topic.

One of the key objectives of the Pluton UPV space mission is to demonstrate the feasibility of running artificial intelligence in space. Therefore, the developed model will have to be able to run on hardware similar to that of the computational module that the nanosatellite will have on board, i.e. a Raspberry Pi, which represents the main challenge of this development.

The project will be divided into four main phases: the development of a proprietary dataset with the topics that the model should address, the fine-tuning of a chosen model to specialize it in that dataset, the implementation of that model on a Raspberry Pi and its efficient execution, and finally, an evaluation of the final system, measuring quality and energy consumption.

[CA] Este treball és una col·laboració amb Pluton UPV, un grup de Generació Espontània que té com a objectiu desenvolupar un nanosatèl·lit CubeSat amb la particularitat que este satèl·lit serà capaç d’executar un assistent conversacional o bot mentres orbita la Terra, permetent als usuaris en terra comunicar-se en temps real amb el bot. L’objectiu d’este projecte és realitzar un primer acostament cap a eixe bot mitjançant el desenvolupament d’un model de llenguatge especialitzat a respondre preguntes relacionades amb l’espai i l’exploració espacial. Utilitzarem tecnologies com transformers i ens recolzarem en models de llenguatge ja existents (per exemple, LLaMa-2, Alpaca, Gemma, etc.), realitzant fine-tuning sobre ells amb un dataset desenvolupat exclusivament per al satèl·lit. Este model no sols respondrà preguntes sobre temes espacials, sinó que també proporcionarà dades reals de la telemetria del satèl·lit i serà capaç de tractar qualsevol tema. Un dels objectius clau de la missió espacial de Pluton UPV és demostrar la viabilitat d’executar intel·ligència artificial en l’espai. Per tant, el model desenvolupat haurà de ser capaç d’executar-se en un maquinari similar al del mòdul computacional que tindrà el nanosatèl·lit a bord, és a dir, una Raspberry Pi, la qual cosa representa el principal desafiament d’este desenvolupament. El projecte es dividirà en quatre fases principals: el desenvolupament d’un dataset propi amb els temes que el model ha d’abordar, el fine-tuning d’un model triat per a especialitzar-lo en eixe dataset, la implementació d’este model en una Raspberry Pi i la seua execució eficient, i finalment, una avaluació del sistema final, mesurant la qualitat i el consum energètic.