Facilitating human inclusion in the data science process : from capturing business requirements to designing an operational machine learning workflow - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Thèse Année : 2024

Facilitating human inclusion in the data science process : from capturing business requirements to designing an operational machine learning workflow

Faciliter l'inclusion humaine dans le processus de science des données : de la capture des exigences métier à la conception d'un workflow d'apprentissage automatique opérationnel

Résumé

When data scientists need to create machine learning workflows to solve a problem, they first understand the business needs, analyze the data, and then experiment to find a solution. They judge the success of each attempt using metrics like accuracy, recall, and F-score. If these metrics meet expectations on the test data, it's a success; otherwise, it's considered a failure. However, they often don't pinpoint why a workflow fails before trying a new one. This trial-and-error process can involve many attempts because it's not guided and relies on the preferences and knowledge of the data scientist.This intuitive method leads to varying trial counts among data scientists. Also, evaluating solutions on a test set doesn't guarantee performance on real-world data. So, when models are deployed, additional monitoring is needed. If a workflow performs poorly, the whole process might need restarting with adjustments based on new data.Furthermore, each data scientist learns from their own experiences without sharing knowledge. This lack of collaboration can lead to repeated mistakes and oversights. Additionally, the interpretation of similarity between use cases can vary among practitioners, making the process even more subjective. Overall, the process lacks structure and heavily depends on the individual knowledge and decisions of the data scientists involved.In this work, we present how to mutualize data science knowledge related to anomaly detection in time series to help data scientists generate machine learning workflows by guiding them along the phases of the process .To this aim, we have proposed three main contributions to this problem:Contribution 1: Integrating Data, Business Requirements, and Solution Components in ML Workflow design.While automatic approaches focus on data, our approach considers the dependencies between the data, the business requirements, and the solution components. This holistic approach ensures a more comprehensive understanding of the problem and guides the development of appropriate solutions.Contribution 2: Customizing Workflows for Tailored Solutions by Leveraging Partial and Modular Configurations. Our approach aims to assist data scientists in customizing workflows for their specific problems. We achieve this by employing various variability models and a constraint system. This setup enables users to receive feedback based on their data and business requirements, possibly only partially identified.Additionally, we showed that users can access previous experiments based on problem settings or create entirely new ones.Contribution 3: Enhancing Software Product Lines Knowledge through New Product Exploitation.We have proposed a practice-driven approach to building an SPL as a first step toward allowing the design of generic solutions to detect anomalies in time series while capturing new knowledge and capitalizing on the existing one when dealing with new experiments or use cases.The incrementality in the acquisition of knowledge and the instability of the domain are supported by the SPL through its structuring and the exploitation of partial configurations associated with past use cases.As far as we know, this is the first case of application of the SPL paradigm in such a context and with a knowledge acquisition objective.By capturing practices in partial descriptions of the problems and descriptions of the solutions implemented, we obtain the abstractions to reason about datasets, solutions, and business requirements.The SPL is then used to produce new solutions, compare them to past solutions, and identify knowledge that was not explicit.The growing abstraction supported by the SPL also brings other benefits.In knowledge sharing, we have observed a shift in the approach to creating ML workflows, focusing on analyzing problems before looking for similar applications.
Le processus de création de flux de travail en science des données, notamment pour résoudre des problèmes d'apprentissage automatique, repose souvent sur des essais et erreurs, manquant de structure et de partage de connaissances entre les data scientistes. Cela entraîne une variabilité dans les tentatives et une interprétation subjective des cas d'utilisation. Afin d'améliorer ce processus dans le cadre de la détection d'anomalies sur les séries temporelles, notre travail propose trois contributions principales :Contribution 1 : Intégration des données, des exigences métiers et des composants de la solution dans la conception du flux de travail d'apprentissage automatique.Alors que les approches automatiques se concentrent sur les données, notre approche prend en compte les dépendances entre les données, les exigences métier et les composants de la solution.Cette approche holistique assure une compréhension plus complète du problème et guide le développement de solutions appropriées. Contribution 2 : Personnalisation des flux de travail pour des solutions sur mesure en tirant parti de configurations partielles et modulaires. Notre approche vise à aider les data scientists à personnaliser les flux de travail pour leurs problèmes spécifiques.Nous y parvenons en employant divers modèles de variabilité et un système de contraintes.Cette approche permet d'intégrer les données, les exigences métier et les composants de la solution dans le processus de conception des flux de travail.En outre, nous avons montré que les utilisateurs peuvent accéder à des expériences antérieures basées sur les paramètres du problème ou en créer de nouvelles.Contribution 3 : Amélioration de la connaissance des lignes de produits logiciels par l'exploitation de nouveaux produits.Nous avons proposé une approche pratique de la construction d'une ligne de produit logiciel (LPL) comme première étape vers la conception de solutions génériques pour détecter les anomalies dans les séries temporelles tout en capturant de nouvelles connaissances et en capitalisant sur celles qui existent déjà lorsqu'il s'agit de nouvelles expériences ou de nouveaux cas d'utilisation. L'incrémentalité dans l'acquisition de connaissances et l'instabilité du domaine sont soutenues par la LPL à travers sa structuration et l'exploitation de configurations partielles associées à des cas d'utilisation antérieurs.À notre connaissance, il s'agit du premier cas d'application du paradigme LPL dans un tel contexte et avec un objectif d'acquisition de connaissances.En capturant les pratiques dans des descriptions partielles des problèmes et des descriptions des solutions mises en œuvre, nous obtenons les abstractions nécessaires pour raisonner sur les ensembles de données, les solutions et les exigences métier.Le LPL est ensuite utilisé pour produire de nouvelles solutions, les comparer aux solutions antérieures et identifier les connaissances qui n'étaient pas explicites.L'abstraction croissante soutenue par le SPL apporte également d'autres avantages.En ce qui concerne le partage des connaissances, nous avons observé un changement dans l'approche de la création de flux de travail de ML, en se concentrant sur l'analyse des problèmes avant de rechercher des applications similaires.
Fichier principal
Vignette du fichier
2024COAZ4017.pdf (26.5 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04618657 , version 1 (20-06-2024)

Identifiants

  • HAL Id : tel-04618657 , version 1

Citer

Yassine El Amraoui. Facilitating human inclusion in the data science process : from capturing business requirements to designing an operational machine learning workflow. Artificial Intelligence [cs.AI]. Université Côte d'Azur, 2024. English. ⟨NNT : 2024COAZ4017⟩. ⟨tel-04618657⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More