Data Analysis of a Deep Learning-Based Attention Classifier for Joint Attention Assessment in Children with Autism Spectrum Disorder

Abstract

[ES] Los niños con Trastorno del Espectro Autista (TEA) muestran deficiencias significativas en las habilidades de atención conjunta. La atención conjunta se define como un intercambio social en el cual un niño coordina su atención con un compañero social en aspectos del entorno a través de actos como mirar a los ojos, señalar u otras indicaciones verbales o no verbales. La medición de la atención conjunta tradicionalmente se ha basado en métodos cualitativos, como la etiquetación manual de videos. Sin embargo, los progresos recientes en algoritmos de aprendizaje profundo sugieren la posibilidad de avanzar hacia una cuantificación objetiva de la atención conjunta que permita realizar un seguimiento del progreso del niño durante la terapia. En colaboración con IRCCS Fondazione Don Carlo Gnocchi, se ha desarrollado un protocolo para evaluar la atención combinando las Escalas de Comunicación Social Temprana (ESCS) con terapia robótica. Con el fin de recopilar los datos del grupo de control, se han llevado a cabo sesiones con niños de desarrollo típico de entre 18 y 24 meses de edad, y se han grabado utilizando Azure Kinect para su posterior análisis. Posteriormente, se han aplicado los algoritmos YOLO y Gaze360 para estimar la dirección de la mirada de los individuos. Finalmente, se han implementado redes neuronales para clasificar en qué objetivo el sujeto está enfocando su atención. Los resultados de este trabajo ofrecen una perspectiva sobre la integración de herramientas automáticas, objetivas y cuantitativas para realizar la evaluación del TEA.

[EN] Children with Autism Spectrum Disorder (ASD) exhibit significant impairments in joint attention skills. Joint Attention (JA) is defined as a social exchange in which a child coordinates attention with a social partner on aspects of the environment by acts of eye-gazing, pointing or other verbal or non-verbal indication. JA measurement has traditionally relied on labour-intensive and qualitative methods, such as manual video labelling. Nevertheless, recent advancements in algorithms (i.e. deep learning) suggest the possibility of going in the direction of an objective quantification of J.A. that would permit tracking the child's progress during therapy. Jointly with IRCCS Fondazione Don Carlo Gnocchi, a protocol to evaluate attention combining Early Social Communication Scales (ESCS) with robotic therapy was developed. In order to gather the data of the control group, sessions involving typically developing (TD) chldren in the age 18-24 months were conducted and recorded using Azure Kinect. Then, to perform a video analysis, YOLO and Gaze360 algorithms are applied to estimate the gaze direction of the subjects. Subsequently, neural networks are implemented to classify in which target the subject is focusing his attention. The results of this work offer an insight on the integration of automatic, objective, and quantitative tools for conducting ASD assessment.