Machine learning based models for matrix factorization

Abstract

[EN] Collaborative filtering (CF) is the process of filtering for information or patterns using techniques involving collaboration among multiple agents or data sources[1]. This dissertation presents the simplicity and efficiency of machine learning approaches to solve CF large-scale problems in a linear time, along with the challenges of non-convex optimizations in the space of non-linear problems.First, I describe the field of CF, its challenges, and the current state-of-the-art, focusing the work on ML1 based models for matrix factorization. After explaining the problems and challenges of non-convex optimizations, along with several optimization techniques and their performance advantage over the classical stochastic optimization. Later, I briefly outline the architecture of an efficient implementation for Orange3 to include support for CF. Subsequently, I show several ways to visualize and exploit the resulting latent factors produced by the models, as well as an add-on for visualizing the behavior of different stochastic optimizers. Finally, I present a model that takes into account temporal dynamics for side and trust information, both explicit and implicit.

[ES] El filtrado colaborativo (FC) es el proceso de filtrado de información o patrones utilizando técnicas que implican la colaboración entre múltiples agentes o fuentes de datos. Este trabajo muestra la sencillez y eficiencia de los métodos de aprendizaje máquina para resolver problemas de gran escala en tiempo lineal, así como los desafíos de las optimizaciones no convexas en el espacio de problemas no lineales. En primer lugar, describo el campo del FC, sus desafíos y el estado del arte actual, centrando el trabajo en los modelos basados en el aprendizaje automático para la factorización de matrices. Después, explico los problemas y desafíos de las optimizaciones no convexas, además de introducir varias técnicas de optimización y sus ventajas sobre los métodos de optimización estocástica clásica. Más adelante, presento brevemente la arquitectura de una implementación eficiente para Orange3 a fin de incluir soporte para el FC. Posteriormente, muestro varias formas de visualizar y explotar los factores latentes resultantes producidos por los modelos, así como un add-on para visualizar el comportamiento de diferentes optimizadores estocásticos. Finalmente, presento un modelo que tiene en cuenta las dinámicas temporales, la información adicional y de confianza, tanto explícita como implícita.

[CA] El filtratge col·laboratiu (FC) és el procés de filtrat d’informació o patrons utilitzant tècniques que impliquen la col·laboració entre múltiples agents o fonts de dades. Aquest treball mostra la senzillesa i eficiència dels mètodes d’aprenentatge automàtic per a resolver problemes de gran escala en temps lineal, així com els desafiaments de les optimitzacions no-convexes en l’espai de problemes no-lineales. En primer lloc, descric el camp del FC, els seus desafiaments i l’estat de l’art actual, centrant el treball en els models basats en l’aprenentatge automàtic per a la factorització de matrius. Després, explique els problemes i desafiaments de les optimitzacions no-convexes, a més de introduir diverses tècniques d’optimització i els seus avantatges sobre els mètodes d’optimització estocástica clàssica. Més endavant, presente breument l’arquitectura d’una implementació eficient per a Orange3, a fi d’incloure suport per al FC. Posteriorment, mostre diverses formes de visualitzar i explotar els factors latents resultants produïts pels models, així com un add-on per a visualitzar el comportament de diferents optimitzadors estocàstics. Finalment, presente un model que té en compte les dinàmiques temporals, la informació addicional i de confiança, tant explícita com implícita.