Efficient Version Space Algorithms for Human-in-the-loop Model Development
Algorithmes spatiaux de versions efficaces pour le développement de modèles Human-in-the-loop
Résumé
When active learning (AL) is applied to help users develop a model on a large dataset through interactively presenting data instances for labeling, existing AL techniques often suffer from two main drawbacks: First, to reach high accuracy they may require the user to label hundreds of data instances, which is an onerous task for the user. Second, retrieving the next instance to label from a large dataset can be time-consuming, making it incompatible with the interactive nature of the human exploration process. To address these issues, we introduce a novel version-space-based active learner for kernel classifiers, which possesses strong theoretical guarantees on performance and efficient implementation in time and space. In addition, by leveraging additional insights obtained in the user labeling process, we can factorize the version space to perform active learning in a set of subspaces, which further reduces the user labeling effort. Evaluation results show that our algorithms significantly outperform state-of-the-art version space strategies, as well as a recent factorization-aware algorithm, for model development over large datasets.
Lorsque l'apprentissage actif (AL) est appliqué pour aider les utilisateurs à développer un modèle sur un vaste ensemble de données en présentant de manière interactive des instances de données pour l'étiquetage, les techniques AL existantes souffrent souvent de deux inconvénients principaux : Premièrement, pour atteindre une grande précision, elles peuvent nécessiter que l'utilisateur étiquete des centaines. d'instances de données, ce qui constitue une tâche onéreuse pour l'utilisateur. Deuxièmement, récupérer la prochaine instance à étiqueter à partir d’un grand ensemble de données peut prendre du temps, ce qui la rend incompatible avec la nature interactive du processus d’exploration humaine. Pour résoudre ces problèmes, nous introduisons un nouvel apprenant actif basé sur l'espace des versions pour les classificateurs du noyau, qui possède de solides garanties théoriques en termes de performances et d'implémentation efficace dans le temps et dans l'espace. De plus, en tirant parti des informations supplémentaires obtenues lors du processus d’étiquetage des utilisateurs, nous pouvons factoriser l’espace des versions pour effectuer un apprentissage actif dans un ensemble de sous-espaces, ce qui réduit encore davantage l’effort d’étiquetage des utilisateurs. Les résultats de l'évaluation montrent que nos algorithmes surpassent considérablement les stratégies d'espace de versions de pointe, ainsi qu'un algorithme récent prenant en compte la factorisation, pour le développement de modèles sur de grands ensembles de données.
Domaines
Informatique [cs]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
