Towards integrating multi-criteria analysis techniques in dependability benchmarking

Abstract

[EN] Increasing integration scales are promoting the development of myriads of new devices and technologies, such smartphones, ad hoc networks, or field-programmable devices, among others. The proliferation of such devices, with increasing autonomy and communication capabilities, is paving the way for a new paradigm known as Internet of Things, in which computing is ubiquitous and devices autonomously exchange information and cooperate among them and already existing IT infrastructures to improve people’s and society’s welfare. This new paradigm leads to huge business opportunities to manufacturers, application developers, and services providers in very different application domains, like consumer electronics, transport, or health. Accordingly, and to make the most of these incipient opportunities, industry relies more than ever on the use and re-use of commercial off-the-shelf (COTS), developed either in-house or by third parties, to decrease time-to-market and costs. In this race for hitting the market first, companies are nowadays concerned with the dependability of both COTS and final products, even for non-critical applications, as unexpected failures may damage the reputation of the manufacturer and limit the acceptability of their new products. Therefore, benchmarking techniques adapted to dependability contexts (dependability benchmarking) are being deployed in order to assess, compare, and select, i) the best suited COTS, among existing alternatives, to be integrated into a new product, and ii) the configuration parameters that gets the best trade-off between performance and dependability. However, although dependability benchmarking procedures have been defined and applied to a wide set of application domains, no rigorous and precise decision making process has been established yet, thus hindering the main goal of these approaches: the fair and accurate comparison and selection of existing alternatives taking into account both performance and dependability attributes. Indeed, results extracted from experimentation could be interpreted in so many different ways, according to the context of use of the system and the subjectivity of the benchmark analyser, that defining a clear and accurate decision making process is a must to enable the reproducibility of conclusions. Thus, this master thesis focuses on how integrating a decision making methodology into the regular dependability benchmarking procedure. The challenges to be faced include how to deal with the requirements from industry, just getting a single score characterising a system, and academia, getting as much measures as possible to accurately characterise the system, and how to navigate from one representation to another without losing meaningful information.

[ES] El incremento de las escalas de integración están dando lugar a una infinidad de nuevos dispositivos y tecnologías, tales como smartphones, redes ad hoc, y dispositivos reprogramables entre otros. La proliferación de estos dispositivos con mejoras en autonomía y capacidades de comunicación está allanando el camino a un nuevo paradigma conocido como Internet of Things (el Internet de las cosas), donde la computación es ubícua y los dispositivos cooperan e intercambian información de forma autónoma entre ellos, y donde las infrastructuras para las TI mejoran el bienestar de la gente y de la sociedad. De la mano de este paradigma llegan una gran cantidad de oportunidades de negocio para fabricantes, desarrolladores de aplicaciones, y provedores de servicios en areas tan distintas como la electrónica de consumo, el transporte o la sanidad. De acuerdo con esto, y para sacar el mayor provecho de estas oportunidades, la industria depende ahora más que nunca de la utilización y reutilización de productos desarrollados por terceros, que les permiten reducir el tiempo de lanzamiento al mercado y los costes para sus productos. En esta carrera por ser el primero en llegar al mercado, las compañias se preocupan de la confiabilidad de tanto los componentes desarrollados por terceros, como de los propios productos finales, ya que fallos inesperados podrían perjudicar la reputación del fabricante y limitar la aceptación de sus nuevos productos. Por tanto, las técnicas de evaluación adaptadas al contexto de la confiabilidad se están desplegando para evaluar, comparar y seleccionar, i) aquellos componentes que mejor se ajustan para ser integrados en un nuevo producto, y ii) los parámetros de configuración que ofrecen el mejor equilibrio entre rendimiento y confiabilidad. Sin embargo, aunque los procesos de evaluación de la confiabilidad se han definido y aplicato a un gran conjunto de entornos de aplicación, todavía no se han establecido procesos precisos y rigurosos para llevar a cabo el proceso the toma de decisiones, dificultando así los objetivos de este tipo de aproximaciones: una comparación y una selección justa de las alternativas existentes tomando en consideración atributos del rendimiento y de la confiabilidad. De echo, los resultados extraídos de la experimentación se pueden interpretar de muchas maneras distintas dependiendo del contexto de uso del sistema, y del criterio subjetivo del evaluador. Por lo que definir un proceso de toma de decisiones claro y conciso es una tarea obligatoria para permitir la reproducibilidad de las conclusiones. Así pues, éste trabajo final de máster se centra en el proceso de integración de una metodología de toma de decisiones en un proceso de evaluación de la confiabilidad común. Los retos a afrontar incluyen cómo tratar con los requisitos de la industria, obteniendo una única medida para caracterizar el sistema, y con los requisitos de los académicos, donde se prefiere la obtención de cuantas más medidas posibles para caracterizar el sistema, y como navegar de una representación a la otra sin sufrir una pérdida de información relevante.