Notre objectif est de permettre à un ou plusieurs robots mobiles de collaborer avec un ou plusieurs êtres humains dans le but de résoudre un problème commun.
Nous avons développé un formalisme permettant de résoudre ce type de situations, en nous limitant dans un premier temps à un robot aidant un être humain. Nous supposons de plus que l'environnement est totalement observable (pas d'objet caché, par exemple).
Ce modèle est basé sur le formalisme des POMDP (Processus de Décision Markovien Partiellement Observables) et introduit dans l'espace d'états l'intention de l'être humain. Ceci rend naturellement le modèle partiellement observable, puisqu'il n'est pas possible de déterminer statiquement l'intention de quelqu'un simplement en regardant une photographie, par exemple. Cependant, cette observabilité est partielle puisqu'on peut avoir une idée du but d'une personne en regardant la séquence d'actions qu'elle met en oeuvre.
Nous exploitons donc cette idée afin de permettre au robot de “deviner” l'intention de son collègue humain, d'anticiper ses mouvements à venir, et donc d'adapter son propre comportement.
Nous avons comparé cette approche à plusieurs concurentes, mais ces travaux sont toujours en cours.
Afin de tester la performance et la robustesse de nos approches, nous avons construit un problème ad hoc en collaboration avec le LAAS. En effet, aucun des problèmes usuels de la littérature ne permet d'étudier facilement cette coordination homme-robot.
Le modèle choisi correspond donc à une tâche de nettoyage où l'équipe (le robot
et l'homme) doivent débarasser un certain nombre de tables des verres qui les
encombrent. L'équipe est récompensée une fois la têche terminée, ou bien à
chaque verre rangé, à chaque table débarrassée, etc. ...
Dans cette tâche, une intention correspond donc à aller chercher un verre ou à
le ramener au bar. Nous avons cependant ajouté une intention correspondant à
“ne rien faire”, c'est à dire à faire des actions n'ayant pas de but
visible.
La vidéo suivante montre le résultat d'une expérience que nous avons menée avec trois objets à ramasser. Cependant, nous avons rencontré trois problèmes :
Pour répondre au premier problème, nous avons réduit la complexité du modèle en supprimant (pour la durée de l'expérience) le besoin de ramener les verres au bar. Il suffit donc de les toucher pour s'en débarrasser. Nos agents devront donc simplement renverser trois quilles avant d'être récompensés.
Le second problème n'étant pas notre priorité, nous avons contourné cette difficulté en imposant à l'agent humain de déclarer ses actions. Il dispose donc d'un portable muni d'un pavé directionnel sur lequel il retranscrit ses mouvements.
Le troisième n'est pas à proprement parler un problème. Le modèle a été conçu pour des agents homogènes mais peut être complexifié pour introduire des éléments tels que la direction dans laquelle le robot avance. Cependant, cela introduit un déséquilibre supplémentaire, l'homme ayant la possibilité d'avancer de côté, et donc de gagner du temps. Pour les besoins de la démonstration, l'homme fera donc simplement à ses mouvements, afin de ne pas aller plus vite que le robot.
Le modèle a été résolu par un algorithme de type Q-MDP topologique, en utilisant une discrétisation de l'intention humaine supposée par le robot sur 13 niveaux discrets. Cette approche, bien que non optimale, donne de bons résultats pour un temps de calcul assez faible (de l'ordre d'une demie minute ici).
Dans cette vidéo, nous avons incrusté dans la fenêtre de gauche une vue du modèle informatique. On y retrouve l'homme (“H”), le robot (“R”), et les trois objets (“0, 1, 2”). En bas de l'encart se trouve un histogramme montrant la croyance courante du robot envers les différentes intentions de l'homme.
Télécharger la vidéo :