Automatic material recognition using computer vision

Abstract

[EN] The ability to correctly identify the materials of objects in the real world is key in human’s life. Therefore, an automatic system with that skill would be a great step in the path to simulate human vision. This work describes a new approach to try to solve this still open problem where the key idea is the use of image-inferable properties as an intermediate step to recognize materials. The algorithm is based on the extraction and quantization of SIFT descriptors, which are later used to train SVMs to recognize material properties, both of touch and shape, at different scales. Finally, models based on Naive Bayes and SVMs are trained and compared in terms of material recognition from the properties. Despite of the high cost of the markup, this approach offers interesting intermediate results and competitive accuracy compared with other methods applied to the same image dataset.

[ES] La habilidad de identificar los materiales de los objetos del mundo real es clave para los seres humanos. Por ello, un sistema automático con esta capacidad sería un gran paso en el camino hacia la simulación de la visión humana. Este trabajo describe una nueva aproximación para intentar resolver este problema aún abierto, donde la idea clave es el uso de propiedades inferibles a través de las imágenes como paso intermedio para reconocer materiales. El algoritmo se basa en la extracción y cuantización de descriptores SIFT, que son usados para entrenar SVMs en el reconocimiento de propiedades de los materiales, tanto táctiles como de forma, en diferentes escalas. Finalmente, modelos basados en Naive Bayes y SVMs son entrenados y comparados para clasificar materiales a partir de las propiedades. A pesar del alto costo del marcado, esta aproximación ofrece interesantes resultados intermedios y precisión competitiva con otros métodos utilizados sobre el mismo conjunto de imágenes.