Assisting humans through adaptive haptic guidance, application to remote-controlled vertical farming
Assister l'humain par un guidage haptique adaptable, application à l'agriculture verticale téléopérée
Résumé
In vertical farming, teleoperation enables human skills to be leveraged for plant manipulation while maintaining a pest and disease free growing environment. A key component of teleoperation is the exchange of information between the operator and the robotic system such as visual feedback (video streams) and haptic feedback (physical interaction cues with the environment). This thesis focuses on the use of haptic feedback through haptic guidance.Haptic guidance is designed to assist the operator in controlling the robot by encouraging movement in a specific direction, along a predefined path, or by restricting access to certain areas through guiding forces. It relies on two main components: a guidance model and a virtual object. The model determines a force profile based on the distance to the virtual object. For haptic guidance to be effective, both elements must be carefully defined; otherwise, the guidance may negatively impact task performance. Since these components are usually pre-defined, adapting them in dynamic environments like vertical farming can be challenging. Our goal is to develop a generic and online-adaptable haptic guidance approach that adjusts in real time based on the complexity of both the task and the environment by evaluating the human-guidance interaction.Existing literature identifies three commonly used guidance models: the spring damper, the guiding tube, and the potential field. Each has distinct characteristics, making it advantageous to use different models on the same complex task. To unify these approaches, we developed a generic model ruling guidance that replicates the behavior of all three and allows for continuous transitions between them. A user study validated the relevance of this model, showing that the choice of guidance depends on environmental clutter. The study also introduced objective metrics for assessing human-guidance interaction across four criteria: performance, safety, comfort, and trust.Using these metrics particularly variations in guiding force we propose several strategies to dynamically adapt the ruling guidance model. Additionally, we introduce a new haptic guidance framework called dual adaptable. Formulated as an optimization problem, this model generates guiding forces that enhance operator comfort while accounting for environmental complexity by simultaneously considering multiple types of virtual objects.However, dynamic adaptation of the guidance model alone is not sufficient. Poorly defined virtual objects can still negatively impact task performance. To support real-time adaptation in response to environmental or task changes, we propose two new types of adaptable virtual objects. The elastic guide is a deformable path that responds to operator movements, while the predictive guide continuously replans itself based on the robot's current position and task requirements.Finally, this thesis introduces a generic, online-adaptable haptic guidance framework, covering both the guidance model and the definition of virtual objects.
Dans le contexte de l'agriculture verticale, la téléopération offre la possibilité de mobiliser les compétences humaines pour manipuler des plantes, tout en assurant le maintien d'un environnement de culture préservé de tout parasite et maladie. Un des éléments clés de la téléopération est la transmission d'informations entre l'opérateur·rice et le système robotisé, avec, par exemple, des retours visuels (flux vidéo) et des retours haptiques (transmission des interactions physiques avec l'environnement). Dans cette thèse, nous nous intéressons à l'utilisation de ces retours haptiques, via l'usage de guidage haptique.Le guidage haptique a pour but d'aider l'humain à déplacer un robot, en l'incitant à suivre une direction, un trajet prédéfini ou en lui interdisant l'accès à une zone via l'usage d'une force de guidage. Il est défini par deux éléments : un modèle de guidage et un objet virtuel. Le modèle définit un profil de force en fonction de la distance à l'objet virtuel. Pour assurer que le guidage haptique constitue une aide à l'humain pendant la téléopération, il est primordial de définir correctement ces deux éléments. Dans le cas contraire, le guidage haptique constituera un frein à la réalisation de la tâche. La définition de ces deux éléments se fait en amont de la tâche, ce qui pose problème dans des environnements dynamiques comme celui de la culture verticale. Nos travaux ont pour but de proposer un guidage haptique générique et adaptable en ligne, qui s'appuie sur la complexité de l'environnement et de la tâche à travers l'évaluation de l'interaction entre l'humain et le guidage.L'état de l'art des modèles de guidage montre que trois modèles de guidage sont souvent utilisés : le ressort amortisseur, le tube de guidage et le champ de potentiel. Ces modèles présentent des propriétés spécifiques, ce qui rend pertinent l'utilisation de plusieurs modèles de guidage pour la réalisation d'une tâche complexe. Leur définition étant disparate, nous avons développé un nouveau modèle de guidage générique qui permet de reproduire les propriétés des trois modèles cités et de passer d'un à l'autre de manière continue, le modèle ruling guidance. Une étude utilisateur a validé l'intérêt de ce modèle, en montrant que le choix du modèle de guidage est influencé par l'encombrement de l'environnement. Cette étude a également permis de mettre en avant des métriques objectives pour évaluer l'interaction humain-guidage selon quatre critères: la performance, la sécurité, le confort et la confiance dans le guidage haptique.L'exploitation de ces métriques, notamment la variation de la force de guidage, permet de proposer plusieurs stratégies d'adaptation dynamique du modèle de guidage ruling guidance. Nous proposons également un nouveau modèle de guidage haptique, le modèle dual adaptable, basé sur la formulation d'un problème d'optimisation, qui permet de générer une force de guidage qui assure le confort de l'opérateur·rice tout en s'adaptant à la complexité de l'environnement en considérant simultanément plusieurs types d'objets virtuels.Toutefois, l'adaptation dynamique du guidage haptique ne suffit pas à assurer que le guidage haptique constitue une aide à l'humain pendant la téléopération. En effet, si l'objet virtuel est mal défini, le guidage haptique peut constituer un frein à la réalisation de la tâche. Afin de répondre à un besoin d'adaptation en temps réel de ces objets virtuels, lors de changements dans l'environnement ou dans la tâche à réaliser, nous proposons deux nouveaux objets virtuels adaptables : le guide élastique, qui est un chemin déformable par la force de guidage en réponse aux mouvements de l'opérateur·rice, et le guide prédictif, qui est un chemin qui se re-planifie instantanément en fonction de la position du robot et de la tâche à réaliser.Finalement, cette thèse a permis de proposer un guidage haptique générique et adaptable en ligne, tant au niveau du modèle de guidage qu'au niveau de l'objet virtuel.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |