Analysing Image Quality Metrics for Situational Awareness Estimation

Abstract

[ES] El futuro de nuestras carreteras pertenece a la conducción automatizada. Sin embargo, en un futuro próximo, los vehículos autónomos fallarán en diferentes situaciones de nuestro tráfico diario, lo que hará que las soluciones alternativas sean relevantes para completar con éxito la misión. En tal caso de falla del AV, un operador remoto reemplazará el módulo AV fallado desde lejos y ayudará al AV en la situación específica. Para esta asistencia, el operador debe tener un alto conocimiento y comprensión de la situación. El conocimiento de la situación se construye principalmente utilizando la transmisión de video disponible que ha sufrido compresión y posible pérdida de datos durante la transmisión. El objetivo de esta tesis de licenciatura es investigar e implementar diferentes métricas de calidad de imagen y evaluar y discutir su correlación con la conciencia situacional. Para lograr este objetivo, en el primer paso, realizará una revisión de la literatura con respecto a las métricas de calidad de imagen y las correlaciones ya identificadas con el ser humano para comprender e identificar el contenido. Luego seleccionará un subconjunto de las métricas identificadas para implementarlas en C++ o Python para analizar una transmisión de video ROS2 por cuadro. Las métricas implementadas se utilizarán luego para evaluar mediante un estudio la correlación entre las puntuaciones de las métricas y la capacidad de los humanos para identificar objetos en la imagen y desarrollar su conciencia situacional. Esto incluye derivar un diseño de estudio, realizar el estudio y evaluar los resultados del estudio para obtener los valores de correlación. Además, los resultados se discuten y resumen. La tesis comprende los siguientes paquetes de trabajo: Revisión de la literatura sobre métricas de calidad de imagen y su correlación con la percepción humana. Grabación de escenas de vídeo de muestra adecuadas con el vehículo de investigación EDGAR que incluyen diferentes entornos, condiciones de luz y condiciones climáticas, así como escenarios visualmente desafiantes. Selección de un conjunto prometedor de métricas de calidad de imagen que forman parte de un marco de código abierto. Diseñar y realizar un estudio para determinar la correlación entre las puntuaciones métricas y la conciencia situacional humana/percepción humana de los objetos en la transmisión de vídeo. Evaluación de resultados del estudio, discusión y resumen.

Se requiere experiencia con Python. Es útil el trabajo previo con las respectivas bibliotecas de Python (por ejemplo, cv2) y la experiencia en el diseño de estudios. La tesis debe documentar los pasos individuales del trabajo de forma clara. El candidato se compromete a realizar el trabajo de fin de grado de forma independiente y a indicar los medios científicos utilizados. El trabajo presentado sigue siendo propiedad de la cátedra como documento de examen. Prof. DR.-Ing. M. Lienkamp Supervisor: Nils Gehrke, M. Sc.

[EN] The future of our roads belongs to automated driving. In the near future, however, AVs will fail in different situations in our everyday traffic, making fallback solutions relevant for suc-cessful mission completion. In such an AV fail case, a remote operator will replace the failed AV module from afar and assist the AV in the specific situation. For this assistance, the oper-ator must have high situational awareness and understanding. The situational awareness is built primarily using the available video stream that has undergone compression and possible data loss during transmission. The goal of this bachelor thesis is to research and implement different image quality metrics and evaluate and discuss their correlation with situational awareness. To achieve this goal, in the first step, you will perform a literature review with regard to image quality metrics and al-ready identified correlations with the human to understand and identify the content. You will then select a subset of the identified metrics to implement them in either C++ or Python to analyze a ROS2 video stream on a frame basis. The implemented metrics will then be used to evaluate via a study the correlation between the metric scores and the capability of humans to identify objects in the image and build up their situational awareness. This includes deriving a study design, conducting the study, and evaluating the study results to obtain the correlation values. Further, the results are discussed and summarized. The thesis comprises the following work packages: Literature review regarding image quality metrics and their correlation with human per-ception Recording suitable sample video scenes with the research vehicle EDGAR that include different environments, light conditions and weather conditions as well as visually chal-lenging scenarios Selection of a promising set of image quality metrics that are part of an open source framework Designing and Conducting a study to determine the correlation between metric scores and the human situational awareness / human perception of objects in the video stream Evaluation of study results, discussion and summary

Experience with Python is required. Previous work with respective Python libraries (e.g. cv2) and experience with study design is of help. The thesis should document the individual work steps in a clear form. The candidate under-takes to complete the Bachelor's thesis independently and to indicate the scientific aids used. The submitted work remains the property of the chair as an examination document. Prof. DR.-Ing. M. Lienkamp Supervisor: Nils Gehrke, M. Sc.