Influencia del coeficiente de aprendizaje del algoritmo del gradiente descendente en la convergencia

Abstract

OBJETIVO: Aprender cómo influye el coeficiente de aprendizaje (learning rate) en la convergencia del método del gradiente descendente para el caso de funciones bidimensionales cuadráticas. El valor absoluto máximo de dicho coeficiente está relacionado con la inversa del mayor autovalor de R en la función cuadrática bajo estudio f(x)=x'Rx-2bx. En nuestro ejemplo dicho autovalor es 100. Si, por otra parte, dicho coeficiente es muy pequeño, la convergencia es muy lenta.

INTRODUCCIÓN: El método del gradiente descendente es un tipo de algoritmo iterativo que se suele usar para minimizar funciones f(x), es decir, para encontrar las x donde el valor de la función es mínimo (local o global). Se obtiene moviendo el punto x en la dirección opuesta a la de máxima variación, es decir, en la dirección opuesta al gradiente en dicho punto. La convergencia depende del parámetro a (coeficiente de aprendizaje).