Whole-body Teleoperation of Humanoid Robots
Télé-opération Corps Complet de Robots Humanoïdes
Abstract
This thesis aims to investigate systems and tools for teleoperating a humanoid robot. Robot
teleoperation is crucial to send and control robots in environments that are dangerous or inaccessible
for humans (e.g., disaster response scenarios, contaminated environments, or extraterrestrial
sites). The term teleoperation most commonly refers to direct and continuous control of a robot.
In this case, the human operator guides the motion of the robot with her/his own physical motion
or through some physical input device. One of the main challenges is to control the robot in a way
that guarantees its dynamical balance while trying to follow the human references. In addition,
the human operator needs some feedback about the state of the robot and its work site through remote
sensors in order to comprehend the situation or feel physically present at the site, producing
effective robot behaviors. Complications arise when the communication network is non-ideal. In
this case the commands from human to robot together with the feedback from robot to human can
be delayed. These delays can be very disturbing for the human operator, who cannot teleoperate
their robot avatar in an effective way.
Another crucial point to consider when setting up a teleoperation system is the large number
of parameters that have to be tuned to effectively control the teleoperated robots. Machine
learning approaches and stochastic optimizers can be used to automate the learning of some of the
parameters.
In this thesis, we proposed a teleoperation system that has been tested on the humanoid robot
iCub. We used an inertial-technology-based motion capture suit as input device to control the
humanoid and a virtual reality headset connected to the robot cameras to get some visual feedback.
We first translated the human movements into equivalent robot ones by developping a motion
retargeting approach that achieves human-likeness while trying to ensure the feasibility of the
transferred motion. We then implemented a whole-body controller to enable the robot to track
the retargeted human motion. The controller has been later optimized in simulation to achieve a
good tracking of the whole-body reference movements, by recurring to a multi-objective stochastic
optimizer, which allowed us to find robust solutions working on the real robot in few trials.
To teleoperate walking motions, we implemented a higher-level teleoperation mode in which
the user can use a joystick to send reference commands to the robot. We integrated this setting in
the teleoperation system, which allows the user to switch between the two different modes.
A major problem preventing the deployment of such systems in real applications is the presence
of communication delays between the human input and the feedback from the robot: even
a few hundred milliseconds of delay can irremediably disturb the operator, let alone a few seconds.
To overcome these delays, we introduced a system in which a humanoid robot executes
commands before it actually receives them, so that the visual feedback appears to be synchronized
to the operator, whereas the robot executed the commands in the past. To do so, the robot continuously
predicts future commands by querying a machine learning model that is trained on past
trajectories and conditioned on the last received commands.
Cette thèse vise à étudier des systèmes et des outils pour la télé-opération d’un robot humanoïde.
La téléopération de robots est cruciale pour envoyer et contrôler les robots dans des environnements
dangereux ou inaccessibles pour les humains (par exemple, des scénarios d’intervention
en cas de catastrophe, des environnements contaminés ou des sites extraterrestres). Le terme téléopération
désigne le plus souvent le contrôle direct et continu d’un robot. Dans ce cas, l’opérateur
humain guide le mouvement du robot avec son propre mouvement physique ou via un dispositif
de contrôle. L’un des principaux défis est de contrôler le robot de manière à garantir son équilibre
dynamique tout en essayant de suivre les références humaines. De plus, l’opérateur humain a
besoin d’un retour d’information sur l’état du robot et de son site via des capteurs à distance afin
d’appréhender la situation ou de se sentir physiquement présent sur le site, produisant des comportements
de robot efficaces. Des complications surviennent lorsque le réseau de communication
n’est pas idéal. Dans ce cas, les commandes de l’homme au robot ainsi que la rétroaction du robot
à l’homme peuvent être retardées. Ces délais peuvent être très gênants pour l’opérateur humain,
qui ne peut pas télé-opérer efficacement son avatar robotique.
Un autre point crucial à considérer lors de la mise en place d’un système de télé-opération
est le grand nombre de paramètres qui doivent être réglés pour contrôler efficacement les robots
télé-opérés. Des approches d’apprentissage automatique et des optimiseurs stochastiques peuvent
être utilisés pour automatiser l’apprentissage de certains paramètres.
Dans cette thèse, nous avons proposé un système de télé-opération qui a été testé sur le robot
humanoïde iCub. Nous avons utilisé une combinaison de capture de mouvement basée sur la
technologie inertielle comme périphérique de contrôle pour l’humanoïde et un casque de réalité
virtuelle connecté aux caméras du robot pour obtenir un retour visuel. Nous avons d’abord traduit
les mouvements humains en mouvements robotiques équivalents en développant une approche
de retargeting de mouvement qui atteint la ressemblance humaine tout en essayant d’assurer la
faisabilité du mouvement transféré. Nous avons ensuite implémenté un contrôleur du corps entier
pour permettre au robot de suivre le mouvement humain reciblé. Le contrôleur a ensuite été
optimisé en simulation pour obtenir un bon suivi des mouvements de référence du corps entier,
en recourant à un optimiseur stochastique multi-objectifs, ce qui nous a permis de trouver des
solutions robustes fonctionnant sur le robot réel en quelques essais.
Pour télé-opérer les mouvements de marche, nous avons implémenté un mode de télé-opération
de niveau supérieur dans lequel l’utilisateur peut utiliser un joystick pour envoyer des commandes
de référence au robot. Nous avons intégré ce paramètre dans le système de télé-opération, ce qui
permet à l’utilisateur de basculer entre les deux modes différents.
Un problème majeur empêchant le déploiement de tels systèmes dans des applications réelles
est la présence de retards de communication entre l’entrée humaine et le retour du robot: même
quelques centaines de millisecondes de retard peuvent irrémédiablement perturber l’opérateur,
encore plus quelques secondes. Pour surmonter ces retards, nous avons introduit un système dans
lequel un robot humanoïde exécute des commandes avant de les recevoir, de sorte que le retour
visuel semble être synchronisé avec l’opérateur, alors que le robot exécutait les commandes dans
le passé. Pour ce faire, le robot prédit en permanence les commandes futures en interrogeant un
modèle d’apprentissage automatique formé sur les trajectoires passées et conditionné aux dernières
commandes reçues.
Origin : Files produced by the author(s)