L’un des plaisirs de jouer à un jeu vidéo, c’est justement… de jouer. Si l’on veut juste suivre une partie, on se contente de regarder une vidéo de quelqu’un qui joue, un stream ou autre. Mais Google travaille sur un modèle d’intelligence artificielle qui a la capacité de jouer aux jeux vidéo à votre place, en suivant simplement ce que vous lui demandez de faire. Cette IA est baptisée SIMA, pour Scalable Instructable Multiworld Agent, et si cela fonctionne comme annoncé, la pratique du jeu vidéo pourrait changer.
Cette IA de Google va jouer aux jeux vidéo à votre place
Google DeepMind, la filiale dédiée à l’IA du géant américain, a annoncé ce nouveau modèle dans un post de blog et sur X. SIMA est, d’après la firme de Mountain View, le premier agent IA généraliste qui peut réagir à des instructions en langage naturel dans des environnements 3D. Autrement dit, celui-ci est capable de jouer en se basant sur vos propres instructions. Dites-lui “tourne à gauche” et SIMA fera tourner le personnage sur la gauche.
Google DeepMind a travaillé avec huit studios de jeu vidéo pour entraîner SIMA, dont Hello Games, à qui l’on doit No Man’s Sky, et Tuxedo Labs, Teardown. L’équipe de développement voulait un grand nombre de types de jeux différents pour ce faire, dans la mesure où chaque nouvelle variable venait ajouter des compétences au modèle. Google DeepMind a même conçu un environnement de type bac à sable, dans lequel SIMA devait construire des structures pour évaluer sa compréhension de la physique et de la manipulation des objets.
Ce qui rend SIMA si impressionnant, en théorie tout du moins, c’est qu’il n’a pas besoin d’information technique sur le jeu vidéo en lui-même. Il se contente d’agir en utilisant les images des jeux et vos commandes en langage naturel. Google DeepMind indique que SIMA peut exécuter plus de 600 “actions basiques”, comme tourner dans une direction spécifique, interagir avec des objets et utiliser les menus du jeu. Ceci étant dit, Google DeepMind travaille sur des actions plus complexes, ainsi que des commandes qui contiennent plusieurs sous-actions. C’est une chose de dire à une IA de grimper à l’échelle devant le personnage, mais c’est autre chose de l’entraîner à répondre comme il se doit à un ordre comme “mine des ressources pour construire un abri”. L’entreprise indique qu’il y a une limitation avec les grands modèles de langage, les bots répondent facilement à des commandes simples, mais ont encore des difficultés à réaliser des actions intuitives de manière indépendante.
SIMA, une technologie déjà impressionnante
Dans le même temps, Google DeepMind met en avant son succès avec son modèle d’entraînement multi-jeux, affirmant que SIMA fait mieux que des modèles entraînés sur un jeu en particulier. D’après le géant, SIMA peut même mieux répondre dans un jeu qu’il n’a jamais vu avant qu’un modèle qui n’aurait été entraîné que sur ce même jeu.
Si SIMA n’est pas encore disponible au grand public, on peut facilement imaginer des cas d’usage de cette technologie. Ce pourrait être une formidable option d’accessibilité : pour les joueurs qui ont des difficultés à utiliser une manette traditionnelle, indiquer oralement à l’IA ce que l’on veut faire devrait tout changer. L’objectif final de Google, ici, va au-delà, dans la mesure où l’IA doit pouvoir jouer aux jeux d’elle-même. Cela pourrait être très utile pour effectuer des tâches répétitives, comme passer des niveaux ou gagner de l’argent, mais la question se posera alors : pourquoi jouer à un jeu vidéo si c’est un robot qui fait tout le travail ?
Il s’agit aussi là du deuxième projet d’envergure dans l’IA pour le jeu vidéo. Le mois dernier, le géant indiquait travailler sur un modèle permettant de générer des jeux de plateforme en 2D via des commandes en langage naturel. Qui sait, peut-être verra-t-on dans un futur proche arriver un “Google Gaming” : il suffira de dire à l’IA le genre de jeu que vous aimeriez voir, et la technologie viendrait générer le jeu et y jouer pour vous en temps réel.
