Lorsque les modèles phares des trois géants de l'IA — OpenAI, Anthropic et Google — s'affrontent sur la même scène, lequel sait le mieux piloter un robot ?
Le 20 octobre, RoboColiseum, l'arène incarnée co-initiée par près de 20 universités, entreprises et instituts de recherche du monde entier, dont Mifeng Technology, Hugging Face, NVIDIA et l'Université Tsinghua, a publié les résultats de ce cycle d'évaluation : Claude Opus 5.5 se classe premier au classement général des quatre modèles phares, suivi de près par GPT-6 Astra.
Par catégorie, parmi les quatre modèles phares, GPT-6 Astra devance les autres en suivi d'instructions et en adaptation globale aux perturbations, avec un score de 99,35 en suivi d'instructions ; Opus se distingue davantage en compréhension spatiale et en manipulation générale, et décroche la première place du groupe phare avec la plus faible consommation de tokens sur l'ensemble des cycles d'évaluation. Dans les tests portant sur des perturbations de la qualité d'image, GPT-6.1 Sol est nettement distancé par les trois autres modèles, ce qui révèle des différences de stabilité face aux variations des informations visuelles selon les modèles.
Cependant, les deux premières places du classement général de ce cycle restent occupées par des modèles de politique incarnée, qui conservent notamment leur avantage sur la dimension de la manipulation générale.
Cette confrontation sur la même scène offre à l'industrie une référence直观 pour distinguer les atouts et les lacunes des grands modèles généraux et des modèles de politique incarnée.
RoboColiseum propose, autour du suivi d'instructions, de la compréhension spatiale, de l'adaptation aux perturbations et de la manipulation générale, quatre sous-classements de capacités et 78 tâches d'évaluation en simulation haute fidélité, qui présentent à la fois les performances par catégorie des modèles et enregistrent les étapes d'exécution des tâches ainsi que les points d'échec, aidant les développeurs à identifier rapidement les faiblesses des modèles.
En tant que co-initiateur, Mifeng fournit à RoboColiseum des actifs d'objets haute fidélité et des scènes de simulation, soutient la construction d'environnements d'évaluation pour des tâches complexes de manipulation robotique, et offre des ressources de base pour tester les capacités des modèles dans différentes interactions avec les objets, configurations spatiales et conditions environnementales.
Savoir si les résultats des modèles en simulation reflètent leurs performances réelles en manipulation est également un point clé de l'évaluation. Selon les résultats de tests réels publiés par la plateforme, la corrélation entre l'évaluation en simulation de RoboColiseum et le déploiement sur robot réel atteint 89,5 %, et l'écart d'évaluation d'un même modèle entre simulation et monde réel est inférieur à 10 %, ce qui peut servir de référence aux développeurs pour la sélection de modèles et l'identification de problèmes avant de passer aux tests sur robot réel.
Mifeng Technology propose un système d'approvisionnement de données « complet, de qualité et rapide », couvrant les trois paradigmes de données que sont le robot réel, la simulation et l'absence de corps. En matière de simulation, Mifeng fournit deux types de ressources — actifs d'objets et actifs d'environnement — couvrant divers objets du quotidien et scènes intérieures, et offre des capacités telles que la reconstruction de scènes, l'acquisition de trajectoires expertes et la visualisation des résultats d'évaluation, aidant les équipes de modèles à mener des entraînements et des évaluations diversifiés.
Coliseum désignait à l'origine l'amphithéâtre romain antique ; RoboColiseum reprend cette image pour construire un système d'évaluation multidimensionnel et systématique, et ériger, grâce à une évaluation en simulation hautement corrélée aux performances réelles, une « arène » et un « terrain d'entraînement » ouverts, neutres et reproductibles pour les modèles d'intelligence incarnée. Toute université, institut de recherche ou développeur d'entreprise peut soumettre son modèle à une « épreuve » standardisée. Depuis son lancement en août, plus de 100 équipes en Chine et à l'étranger ont mené des entraînements et des évaluations de modèles sur la plateforme.
RoboColiseum est désormais ouvert aux développeurs du monde entier ; les équipes de modèles sont invitées à participer à l'évaluation.
