Transformer-based Lidar-RGB Fusion for Semantic Grid Prediction in Autonomous Vehicles
Fusion Lidar-RGB basée sur les transformateurs pour la prédiction de grille sémantique dans les véhicules autonomes
Résumé
Semantic grids are simple and compact top-view representations of a 3D environment used in a variety of robotics tasks, including autonomous vehicles. These grids are composed by several cells that contain the occupancy status (e.g. Free or Occupied), and the object class related to it (e.g. vehicle, road). In order to obtain these semantic grids, some works rely exclusively on camera data, while others rely only in Lidar input, obtaining state-of-the-art results, nevertheless, neglecting the benefits of using both complementary modalities at the same time. In this work, we present a Transformer-based Lidar-RGB fusion network for semantic grid prediction. This architecture receives as input multi-camera views and a Lidar point cloud, and transforms this incoming data onto top-view features that are fused at multiple scales using transformers. Finally, a decoder processes the fused features to predict a semantic grid. This model is trained and tested for Vehicle, Drivable area, Lane divider and Walkway classes, and is evaluated in challenging conditions such as Night and Rain. The results show significant improvement and superior performance for the proposed architecture using Transformer feature fusion in the Vehicle, Drivable area and Walkway classes. This compared with naive fusion methods such as concatenation, and with single modality models based on camera-only and Lidar-only data.
Les grilles sémantiques sont des représentations simples et compactes de vue de dessus d'un environnement en 3D utilisées dans une variété de tâches de robotique, notamment les véhicules autonomes. Ces grilles sont composées de plusieurs cellules qui contiennent l'état d'occupation (par exemple, libre ou occupé) ainsi que la classe d'objet qui lui est associée (par exemple, véhicule, route). Pour obtenir ces grilles sémantiques, certaines méthodes se basent exclusivement sur les données de la caméra, tandis que d'autres se basent exclusivement sur les données Lidar, obtenant des résultats de pointe, mais négligeant les avantages de l'utilisation simultanée de ces deux modalités complémentaires. Dans ce travail, nous présentons une architecture de fusion Lidar-RGB basée sur les transformateurs pour la prédiction de grilles sémantiques. Cette architecture reçoit en entrée des vues multi-caméras et un nuage de points Lidar, et transforme ces données d'entrée en caractéristiques de vue de dessus qui sont fusionnées à plusieurs échelles en utilisant des transformateurs. Enfin, un décodeur traite les caractéristiques fusionnées pour prédire une grille sémantique. Ce modèle est entraîné et testé pour les classes Véhicule, Zone roulable, Diviseur de voie et Passage piéton et est évalué dans des conditions difficiles telles que la nuit et la pluie. Les résultats montrent une amélioration significative et une performance supérieure pour l'architecture proposée utilisant la fusion de caractéristiques Transformer pour les classes Véhicule, Zone roulable et Passage piéton, comparé aux méthodes de fusion naïves telles que la concaténation et aux modèles à modalité unique basés sur les données de caméra uniquement et Lidar uniquement.
Fichier principal
Masters_Thesis_Gustavo_Andres_Salazar_Gomez-1.pdf (3.25 Mo)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|