Un nuevo protocolo de control de flujo de extremo a extremo basado en crréditos para redes de altas prestaciones

Abstract

[EN] High Performance Computing usually leverages messaging libraries such as MPI, GASNet, or OpenSHMEM, among others, in order to exchange data among processes in large-scale clusters. Furthermore, these libraries make use of specialized low-level network layers in order to achieve as much performance as possible from hardware interconnects such as InfiniBand or 40Gb Ethernet, for example. EXTOLL is an emerging network targeted at high performance clusters.

Specialized low-level network layers require some kind of flow control in order to prevent buffer overflows at the receiver side. In this work we present a new end-to-end flow control mechanism that is able to dynamically adapt, at execution time, the buffer resources used by a process according to the communication pattern of the parallel application and the varying activity among communicating peers. The tests carried out on a 64-node 1024-core EXTOLL cluster show that our new dynamic flow control mechanism presents very low overhead with an extraordinarily high buffer efficiency, as overall buffer resources are reduced by 4x with respect to the amount of buffers required by a static flow control protocol achieving similar low overhead levels.

[ES] La Computación de Alto Rendimiento generalmente aprovecha las bibliotecas de mensajería como MPI, GASNET o OpenSHMEM, entre otras, con el fin de intercambiar datos entre los procesos en clusters de gran dimensión. Por otra parte, estas bibliotecas hacen uso de capas de red especializadas de bajo nivel con el fin de lograr el mayor rendimiento posible en interconexiones hardware tales como InfiniBand o 40 Gb Ethernet, por ejemplo. Extoll es una red emergente dirigida a clusters de alto rendimiento.

Algunas capas de red de bajo nivel muy especializadas requieren algún tipo de control de flujo con el fin de evitar desbordamientos de buffer en el lado del receptor. En este trabajo presentamos un nuevo mecanismo de control de flujo extremo-a-extremo que es capaz de adaptar dinámicamente, y en tiempo de ejecución, los recursos de buffer utilizados por un proceso atendiendo al patrón de comunicación de una aplicación paralela y la actividad variable en cuanto a comunicación entre pares. Las pruebas realizadas en un Cluster Extoll de 64 nodos / 1024-cores muestra que nuestro nuevo mecanismo de control de flujo dinámico presenta muy bajo coste operativo con una eficacia extraordinariamente alta en la gestión del buffer, ya que los recursos globales de buffer se reducen 4 veces con respecto a la cantidad de buffers requerida por un protocolo de control de flujo estático, y logrando además un nivel similar en cuanto a sobrecarga respeto a estos últimos.