A GASNet Conduit for the New EXTOLL Interconnection Network Architecture

Abstract

[ES] Los lenguajes PGAS han demostrado ser una forma intuitiva de programación paralela. Con GASNet, una capa de red independiente del lenguaje, preocupaciones por la compatibilidad ya no son ningún problema, ya que GASNet está diseñado para ser fácil y rápidamente adaptado a una nueva arquitectura de interconexión. EXTOLL es una nueva arquitectura de interconexión que es capaz de transmitir mensajes pequeños recientemente, con su motor de comunicaciones VELO, y mensajes con grandes cantidades de datos, con su motor de comunicación RMA. En este trabajo fin de máster explicaremos nuestro conduit de EXTOLL para GASNet y las decisiones tomadas a la hora de implementar el GASNet Core API. Además, las pruebas realizadas con nuestro cluster de 64 nodos mostrarán un mayor rendimiento de nuestro conduit sobre MPI, también implementado para EXTOLL, y cómo nuestro conduit es comparable con una red InfiniBand.

[EN] PGAS languages have proven to be an intuitive and easy way of parallel programing. With GASNet, a language-independent networking layer, compatibility concerns are no longer a problem because GASNet is designed to be fast and easy ported to new network architectures. EXTOLL is such a new architecture that is capable of efficient, with its VELO communication engine, fine grain communication and, with its RMA engine, addresses bulk transfers. The combination of these two engines makes EXTOLL particularly suited for GASNet-based programming paradigms. In this master thesis we provide several contributions: we show how important it is to implement a GASNet conduit with network architecture specific operations. Furthermore, we explain our port of GASNet to the EXTOLL architecture and with more detail the implementation decisions taken for the GASNet Core API. Finally, we analyze the overheads associated with MPI and PGAS programming paradigms using API-based, MPI-based and PGAS-based implementations. These tests are performed on our 64-node cluster, which with a total of 1024 cores already unveils scalability effects. Also, by using InfiniBand as a stateof-the-art network, we put the performance of our GASNet conduit into context.