Le robot Cassie a réussi à marcher de façon indépendante grâce à une nouvelle méthode d’entraînement. Un apprentissage par renforcement qui utilise deux environnements virtuels. 

Les images des robots dansants de Boston Dynamics ont fait le tour du monde. Mais pour faire danser des robots comme ça, les rendre capables de se déplacer de façon autonome, il faut des années de développement. Pour faire danser leurs robots, il a sans doute fallu beaucoup de réglages manuels aux équipes de Boston Dynamics. 

Cassie, un robot bipède développé par Agility Robotics a appris à marcher seul, grâce à une nouvelle méthode. En combinant l’apprentissage par renforcement et deux environnements virtuels, il a pu s'entraîner à marcher avant d’essayer réellement. 

Une méthode d’apprentissage par simulations  

Les chercheurs de l’université de Californie à Berkeley ont utilisé l’apprentissage par renforcement pour éviter au robot Cassie de chuter et d’être endommagé pendant la phase d'entraînement. Cette méthode d’apprentissage a été utilisée pour entraîner de nombreux robots à marcher dans des simulations. Seulement, il est difficile de transférer cette capacité dans le monde réel. La plupart des vidéos utilisées pour cette méthode sont assez peu réalistes. Le fonctionnement de la friction entre les pieds d’un robot et le sol n’est pas du tout pris en compte, cela peut entraîner des échecs (et des chutes !)  lorsqu’il tentera d’appliquer ce qu’il a appris. 

Les chercheurs ont développé un système en trois étapes. Tout commence avec MuJoCo, un environnement virtuel. Une simulation permet au robot d’apprendre à reproduire tout une base de données de mouvements. A ce niveau là du programme, les simulations ne sont pas assez précises pour que l’apprentissage soit utilisable dans le monde réel. 

Il faut utiliser un deuxième environnement virtuel, SimMechanics. Il reflète la physique du monde réel avec un haut degré de précision. Mais il nécessite une force de puissance de calcul et ne fonctionne pas en temps réel. Une fois cet apprentissage transféré au robot, les chercheurs ont pu le tester dans le monde réel, sans avoir besoin de faire de modifications. 

Cassie a pu marcher, debout et accroupi, sur plusieurs surfaces même glissantes. Le robot a réussi à porter des charges inattendues et même à compenser lorsqu’il est poussé ou qu’il trébuche sur des objets. Cette nouvelle méthode d’apprentissage va permettre d’accélérer le développement de nouveaux robots.