Algoritmos iterativos: método del gradiente descendente para calcular el mínimo de una función

Abstract

OBJETIVO: Aprender cómo funciona el método del gradiente descendente para un caso práctico correspondiente a una función bidimensional cuadrática. Comprobar que en cada iteración la función va disminuyendo de valor, acercándose a un mínimo local (global), moviéndose en la dirección opuesta del gradiente en cada punto.

INTRODUCCIÓN: El método del gradiente descendente es un tipo de algoritmo iterativo que se suele usar para minimizar funciones f(x), es decir, para encontrar las x donde el valor de la función es mínimo (local o global). Se obtiene moviendo el punto x en la dirección opuesta a la de máxima variación, es decir, en la dirección opuesta al gradiente en dicho punto, x(n+1)=x(n)-a*f'(x(n)). La solución depende del punto de inicialización, del parámetro "a" (coeficiente de aprendizaje) y del tipo de función. La idea es ir acercándose iteración a iteración (disminuyendo el valor de la función en cada iteración) a un mínimo.