- Les robots échouent encore rapidement dès qu’ils sont retirés des environnements d’usine prévisibles
- Microsoft Rho-alpha associe directement la compréhension du langage au contrôle moteur des robots
- Le sens du toucher est essentiel pour réduire l’écart entre logiciel et action physique
Les robots ont depuis longtemps prouvé leur fiabilité dans des environnements industriels très contrôlés, où les écarts sont rares. En dehors de ces cadres, leurs performances restent limitées.
Pour remédier à ce problème, Microsoft a annoncé Rho-alpha, le premier modèle robotique issu de sa série vision-langage Phi. L’objectif est clair : permettre aux robots de mieux voir et mieux comprendre les instructions.
Selon l’entreprise, les systèmes robotiques peuvent fonctionner au-delà des chaînes d’assemblage s’ils sont capables de s’adapter aux conditions changeantes, au lieu de suivre des scripts rigides.
Ce que Rho-alpha est conçu pour faire
Microsoft inscrit ce projet dans ce que l’on appelle de plus en plus l’intelligence artificielle physique, une approche où les modèles logiciels guident les machines dans des situations peu structurées.
Ce système combine langage, perception et action, ce qui réduit la dépendance aux lignes de production fixes ou aux instructions prédéterminées.
Rho-alpha convertit les instructions en langage naturel en signaux de contrôle robotique, avec un accent particulier sur les tâches de manipulation bimanuelles, nécessitant la coordination de deux bras robotiques et un contrôle très précis.
Microsoft décrit cette solution comme une extension des approches vision-langage-action (VLA), en élargissant à la fois les capacités de perception et les sources d’apprentissage.
« L’émergence des modèles VLA pour les systèmes physiques permet aux machines de percevoir, raisonner et agir avec une autonomie croissante, aux côtés des humains, dans des environnements bien moins structurés », a déclaré Ashley Llorens, vice-président corporate et directeur général du Microsoft Research Accelerator.
Rho-alpha intègre des capteurs tactiles en plus de la vision, et d’autres modalités comme la détection de force sont en cours de développement.
Ces choix techniques visent à réduire l’écart entre l’intelligence simulée et l’interaction physique, même si leur efficacité fait encore l’objet d’évaluations.
Une partie centrale de l’approche de Microsoft repose sur la simulation, afin de pallier le manque de données robotiques à grande échelle, notamment celles impliquant le toucher.
Des trajectoires synthétiques sont générées via l’apprentissage par renforcement dans Nvidia Isaac Sim, puis combinées à des démonstrations physiques issues de jeux de données commerciaux et open source.
« Former des modèles fondamentaux capables de raisonner et d’agir implique de dépasser la rareté des données réelles et diversifiées », a expliqué Deepu Talla, vice-président de la robotique et de l’Edge AI chez Nvidia.
« En utilisant NVIDIA Isaac Sim sur Azure pour générer des jeux de données synthétiques physiquement cohérents, Microsoft Research accélère le développement de modèles polyvalents comme Rho-alpha, capables de maîtriser des tâches de manipulation complexes. »
Microsoft met également en avant l’importance des corrections humaines en cours d’utilisation. Les opérateurs peuvent intervenir à distance à l’aide de dispositifs de téléopération et fournir un retour que le système peut intégrer progressivement.
Cette boucle d’entraînement mêle simulation, données réelles et ajustements humains, traduisant une dépendance croissante aux outils d’IA pour compenser le manque de jeux de données incarnées.
Le professeur Abhishek Gupta, maître de conférences à l’université de Washington, a précisé : « Générer des données d’entraînement par téléopération de systèmes robotiques est devenu une pratique standard, mais de nombreux contextes rendent cette approche peu praticable, voire impossible. »
« Une collaboration avec Microsoft Research est en cours pour enrichir les jeux de données pré-entraînés collectés sur des robots physiques, en y ajoutant des démonstrations synthétiques variées grâce à une combinaison de simulation et d’apprentissage par renforcement. »
