Packed-Ensembles for Efficient Uncertainty Estimation - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Packed-Ensembles for Efficient Uncertainty Estimation

Estimation efficace des incertitudes avec Packed-Ensembles

Résumé

Deep Ensembles (DE) are a prominent approach for achieving excellent performance on key metrics such as accuracy, calibration, uncertainty estimation, and out-of-distribution detection. However, hardware limitations of real-world systems constrain to smaller ensembles and lower-capacity networks, significantlydeteriorating their performance and properties. We introduce Packed-Ensembles(PE), a strategy to design and train lightweight structured ensembles by carefully modulating the dimension of their encoding space. We leverage grouped convolu-tions to parallelize the ensemble into a single shared backbone and forward pass to improve training and inference speeds. PE is designed to operate within the memory limits of a standard neural network. Our extensive research indicates that PE accurately preserves the properties of DE, such as diversity, and performs equally well in terms of accuracy, calibration, out-of-distribution detection, and robustness to distribution shift. We make our code available at github.com/ENSTA-U2IS/torch-uncertainty.
Deep Ensembles (DE) est une des approches principales pour obtenir d’excellentes performances sur des tâches de classification et de détection de données hors distribution. En pratique cependant, ces ensembles et leurs membres sont généralement petits, et donc peu performants, car limités par les contraintes matérielles. Nous proposons Packed-Ensembles (PE), une méthode pour définir et entraîner des ensembles plus légers en modulant la dimension des espaces de représentation. Nous utilisons des convolutions groupées pour paralléliser l’ensemble en une unique structure et ainsi améliorer les temps d'entraînement et d’inférence. PE a la capacité de fonctionner avec une empreinte mémoire équivalente à celle d’un réseau de neurones classique. Au travers d’études approfondies, nous montrons que PE préserve les propriétés de DE, telles que la diversité, et atteint des résultats similaires sur toutes les métriques de précision et de quantification d’incertitude. Le code associé au papier est disponible sur \url{https://github.com/ENSTA-U2IS/torch-uncertainty}.

Dates et versions

hal-04042523 , version 1 (23-03-2023)

Licence

Paternité

Identifiants

Citer

Olivier Laurent, Adrien Lafage, Enzo Tartaglione, Geoffrey Daniel, Jean-Marc Martinez, et al.. Packed-Ensembles for Efficient Uncertainty Estimation. 11th International Conference on Learning Representations, May 2023, Kigali, Rwanda. ⟨hal-04042523⟩
62 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More