Data optimization mechanisms for real-time perception in a heterogeneous system
Proposition de mécanismes d'optimisation des données pour la perception temps-réel dans un système embarqué hétérogène
Abstract
The development of autonomous systems has an increasing need for perception of the environment in embedded systems. Autonomous cars, drones, mixed reality devices have limited form factor and a restricted budget of power consumption for real-time performances. For instance, those use cases have a budget in the range of 300W-10W, 15W-10W and 10W-10mW respectively. This thesis is focused on autonomous and mobile systems with a budget of 10mW to 15W with the use of imager sensors and the inertial measurement unit (IMU). Simultaneous Localization And Mapping (SLAM) provides accurate and robust perception of the environment in real-time without prior knowledge for autonomous and mobile systems. The thesis aims at the real-time execution of the whole SLAM system composed of advanced perception functions, from localization to 3D reconstruction, with restricted hardware resources. In this context, two main questions are raised to answer the challenges of the literature. How to reduce the resource requirements of advanced perception functions? What is the SLAM pipeline partitioning for the heterogeneous system that integrates several computing units, from the embedded chip in the imager, to the near-sensor processing (FPGA) and in the embedded platform (ARM, embedded GPU)?. The first issue addressed in the thesis is about the need to reduce the hardware resources used by the SLAM pipeline, from the sensor output to the 3D reconstruction. In this regard, the work described in the manuscript provides two main contributions. The first one presents the processing in the embedded chip with an impact on the image characteristics by reducing the dynamic range. The second has an impact on the management of the image flow injected in the SLAM pipeline with a near-sensor processing. The first contribution aims at reducing the memory footprint of the SLAM algorithms with the evaluation of the pixel dynamic reduction on the accuracy and robustness of real-time localization and 3D reconstruction. The experiments show that we can reduce the input data up to 75% corresponding to 2 bits per pixel while maintaining a similar accuracy than the baseline 8 bits per pixel. Those results have been obtained with the evaluation of the accuracy and robustness of four SLAM algorithms on two databases. The second contribution aims at reducing the amount of data injected in SLAM with a decimation strategy to control the input frame rate, called the adaptive filtering. Data are initially injected in constant rate (20 frames per second). This implies a consumption of energy, memory, bandwidth and increases the complexity of calculation. Can we reduce this amount of data ? In SLAM, the accuracy and the number of operations depend on the movement of the system. With the linear and angular accelerations from the IMU, data are injected based on the movement of the system. Those key images are injected with the adaptive filtering approach (AF). Although the results depend on the difficulty of the chosen database, the experiments describe that the AF allows the decimation of up to 80% of the images while maintaining low localization and reconstruction errors similar to the baseline. This study shows that in the embedded context, the peak memory consumption is reduced up to 92%.
Le développement des systèmes autonomes engendre des besoins en perception de l'environnement de plus en plus élevés dans les systèmes électroniques embarqués. Les voitures autonomes, les drones, ou encore les casques à réalité mixte présentent des facteurs de forme limités et un budget de puissance énergétique restreint pour les performances en temps-réel. Par exemple, les cas applicatifs cités ont un budget compris entre 300W-10W, 15W-10W et 10W-10mW respectivement. La thèse se place dans le domaine des systèmes autonomes et mobiles ayant un budget de consommation de 10mW à 15W avec l'utilisation de capteurs d'images et de la centrale inertielle (IMU). La méthode Simultaneous Localization And Mapping (SLAM) fournit aux systèmes autonomes et mobiles une perception précise et robuste de l'environnement en temps-réel et sans connaissances préalables. La thèse a pour objectif de répondre à la problématique de l'exécution temps-réel du système SLAM dans son ensemble composé de fonctions de perception avancées allant de la localisation à la reconstruction 3D sur du matériel à ressources restreintes. Dans ce cadre, deux principales questions sont posées pour répondre aux défis de l'état de l'art. Comment réduire les besoins en ressources de ces fonctions de perception ? Quel est le partitionnement de la chaîne de traitement SLAM pour le système hétérogène intégrant plusieurs unités de calcul allant du circuit intégré au capteur d'image, au traitement proche capteur (FPGA) et dans la plateforme embarquée (ARM, GPU embarqué) ?. La première question abordée dans la thèse concerne le besoin de réduire les ressources utilisées par la chaîne de traitement SLAM, de la sortie du capteur à la reconstruction 3D. Dans ce sens, les travaux détaillés dans le manuscrit apportent deux principales contributions. La première présente le traitement dans le circuit intégré au capteur en impactant les caractéristiques de l'image grâce à la réduction de la dynamique. La seconde impacte le pilotage du flux d'image envoyé dans la chaîne de traitement SLAM avec un traitement proche capteur. La première contribution vise à réduire l'empreinte mémoire des algorithmes SLAM en évaluant l'impact de la réduction de la dynamique du pixel sur la précision et la robustesse de la localisation et la reconstruction 3D temps-réel. Les expérimentations menées ont montré que l'on peut réduire la donnée d'entrée jusqu'à 75% correspondant à moins de 2 bits par pixel tout en obtenant une précision similaire à la référence 8 bits par pixel. Ces résultats ont été obtenus en évaluant la précision et la robustesse de quatre algorithmes SLAM différents sur deux bases de données. La seconde contribution vise à réduire la quantité de données injectée dans le SLAM par le filtrage adaptatif qui est la stratégie de décimation pour contrôler le flux d'entrée des images. Le déclenchement des images provenant du capteur est initialement à un flux constant (20 images par seconde). Cela implique une consommation d'énergie, de mémoire, de bande passante et augmente la complexité calculatoire. Pouvons-nous réduire cette quantité de données à traiter ? Dans le cadre du SLAM, la précision et le nombre de calculs à effectuer dépendent fortement du mouvement du système. Grâce à l'IMU qui fournit les accélérations linéaires et angulaires, les données sont injectées en fonction du mouvement du système. Ces images clés sont obtenues grâce à la méthode de filtrage adaptatif (AF). Bien que les résultats dépendent de la difficulté des bases de données choisies, les expérimentations menées ont montré que l'AF permet de décimer jusqu'à 80% des images tout en assurant une erreur de localisation faible et similaire à la référence. L'étude de l'impact mémoire dans le contexte embarqué montre que le pic de consommation est réduit jusqu'à 92%.
Origin : Version validated by the jury (STAR)