ACTU
La Muse m'habite
par CBL,
email @CBL_Factor
On utilise déjà l'IA (dé)générative pour coder, écrire des emails, générer de la musique, créer des vidéos... Alors pourquoi pas des jeux vidéo ? Une approche consisterait à utiliser l'IA pour automatiquement générer des modèles 3D, des environnements, des textures, des quêtes, des dialogues... Du procédural à la sauce IA en gros. Mais et si on se passait totalement de moteur 3D et qu'on créait directement chaque image via l'IA à partir d'une requête initiale suivie par des commandes utilisateur ? Après tout, si vous utilisez le DLSS, une bonne partie des pixels est déjà générée par l'IA, donc pourquoi ne pas aller jusqu'au bout ? Oubliez les shaders, les polygones, les rayons... L'idée est de créer un flux vidéo qui change en fonction des touches sur lesquelles on appuie.
L'idée n'est pas totalement neuve. Un papier de 2018 et un autre de 2020 décrivaient le processus. Mais l'an dernier, les choses se sont vraiment accélérées. En février, OpenAI expliquait que Sora, son modèle de création de vidéos, pouvait servir à "rendre" un jeu comme Minecraft en temps réel. En mars, Google publiait Genie, un modèle permettant de générer en temps réel un jeu de plateforme 2D à partir d'une simple image. Mais la grosse bombe est tombée en août : une équipe de chercheurs israéliens a publié GameNGen, qui permet de jouer à Doom à 20 images par seconde.
Pour ce faire, les chercheurs ont entraîné un agent à jouer à Doom tout en capturant le jeu. Les captures ont permis de créer un modèle qui a ensuite nourri Stable Diffusion afin de générer le rendu à la volée en fonction des commandes utilisateur. On le répète encore : il n'y a pas de moteur 3D, pas de niveaux, pas d'interface : tout est simulé par l'IA pour donner l'illusion au joueur qu'il joue à Doom. Bien entendu, le résultat est loin d'être parfait et il y a des limitations. Par exemple, le "jeu" n'a que trois secondes de mémoire et donc, si vous revenez en arrière, des choses rigolotes risquent d'arriver. Mais le tout fonctionne.
En décembre, Google a publié Genie 2, qui permet de générer et d'interagir avec des mondes en 3D, là encore à partir d'une simple image. Mais plus que l'aspect 3D, c'est sur la mémoire que Genie 2 a fait beaucoup de progrès. Il peut conserver la cohérence d'un univers pendant une minute.
Cette semaine, Microsoft a publié Muse, son modèle de génération de jeu. Il a été co-créé par Microsoft Research à Cambridge et par son studio Ninja Theory, qui a fourni les données sous forme de vidéos de gameplay de Bleeding Edge (un shoot multi) et des commandes utilisateur (apparemment, le titre demandait votre consentement pour ça). Ainsi, Microsoft a pu récupérer l'équivalent de sept ans de jeu.
Muse a deux minutes de mémoire mais surtout est trés précis quand il s'agit de se rappeler où sont les objets. Le modèle est aussi doué pour les actions complexes comme le combat ou la physique. Microsoft présente le tout comme un truc merveilleux qui permettra de préserver les anciens jeux vidéo et d'aider les petits et grands studios à réaliser leur vision. À ce niveau, on ne sait plus si c'est de la naiveté, de l'escroquerie marketing ou un savant mélange des deux. Ce qui est sûr, c'est que l'IA est devenue une grande fournaise dans laquelle on jette plein de trucs pour voir ce qui brûle le plus vite sans se soucier des conséquences.
En effet, tout cela n'est que le début. Imaginons qu'en plus des appuis clavier/souris, on envoie au modèle de quoi générer une histoire, des personnages, des dialogues... On pourrait alors créer des jeux d'aventure. AI Dungeon a déjà montré que c'était possible en mode texte. C'est d'ailleurs amusant de constater qu'on revit le cycle mode texte->mode graphique que les jeux d'aventure ont connu dans les années 80-90. Mais le passage au mode graphique et la création de graphismes de plus en plus complexes ont permis la création de tonnes de métiers.
Le jour où quelqu'un sort un outil qui permet de générer à la volée un jeu vidéo à partir de certains paramètres, c'est une bonne partie de l'industrie qui disparaitra. Et je doute qu'on assistera alors à une explosion de la créativité. Je crains aussi que l'IA générative et particulièrement pour le jeu vidéo ne fasse que renforcer l'individualisme. Si tout le monde joue à son propre jeu, comment créer une communauté ? Et si l'IA n'arrive pas à faire de bonne contrepétrie, comment peut-elle générer quoi que ce soit de rigolo ?
Et accessoirement, pourquoi entraîne-t-on des IA sur des jeux où les gens se tirent dessus ? Doom, Bleeding Edge, StarCraft...
L'idée n'est pas totalement neuve. Un papier de 2018 et un autre de 2020 décrivaient le processus. Mais l'an dernier, les choses se sont vraiment accélérées. En février, OpenAI expliquait que Sora, son modèle de création de vidéos, pouvait servir à "rendre" un jeu comme Minecraft en temps réel. En mars, Google publiait Genie, un modèle permettant de générer en temps réel un jeu de plateforme 2D à partir d'une simple image. Mais la grosse bombe est tombée en août : une équipe de chercheurs israéliens a publié GameNGen, qui permet de jouer à Doom à 20 images par seconde.
Pour ce faire, les chercheurs ont entraîné un agent à jouer à Doom tout en capturant le jeu. Les captures ont permis de créer un modèle qui a ensuite nourri Stable Diffusion afin de générer le rendu à la volée en fonction des commandes utilisateur. On le répète encore : il n'y a pas de moteur 3D, pas de niveaux, pas d'interface : tout est simulé par l'IA pour donner l'illusion au joueur qu'il joue à Doom. Bien entendu, le résultat est loin d'être parfait et il y a des limitations. Par exemple, le "jeu" n'a que trois secondes de mémoire et donc, si vous revenez en arrière, des choses rigolotes risquent d'arriver. Mais le tout fonctionne.
En décembre, Google a publié Genie 2, qui permet de générer et d'interagir avec des mondes en 3D, là encore à partir d'une simple image. Mais plus que l'aspect 3D, c'est sur la mémoire que Genie 2 a fait beaucoup de progrès. Il peut conserver la cohérence d'un univers pendant une minute.
Cette semaine, Microsoft a publié Muse, son modèle de génération de jeu. Il a été co-créé par Microsoft Research à Cambridge et par son studio Ninja Theory, qui a fourni les données sous forme de vidéos de gameplay de Bleeding Edge (un shoot multi) et des commandes utilisateur (apparemment, le titre demandait votre consentement pour ça). Ainsi, Microsoft a pu récupérer l'équivalent de sept ans de jeu.
Muse a deux minutes de mémoire mais surtout est trés précis quand il s'agit de se rappeler où sont les objets. Le modèle est aussi doué pour les actions complexes comme le combat ou la physique. Microsoft présente le tout comme un truc merveilleux qui permettra de préserver les anciens jeux vidéo et d'aider les petits et grands studios à réaliser leur vision. À ce niveau, on ne sait plus si c'est de la naiveté, de l'escroquerie marketing ou un savant mélange des deux. Ce qui est sûr, c'est que l'IA est devenue une grande fournaise dans laquelle on jette plein de trucs pour voir ce qui brûle le plus vite sans se soucier des conséquences.
En effet, tout cela n'est que le début. Imaginons qu'en plus des appuis clavier/souris, on envoie au modèle de quoi générer une histoire, des personnages, des dialogues... On pourrait alors créer des jeux d'aventure. AI Dungeon a déjà montré que c'était possible en mode texte. C'est d'ailleurs amusant de constater qu'on revit le cycle mode texte->mode graphique que les jeux d'aventure ont connu dans les années 80-90. Mais le passage au mode graphique et la création de graphismes de plus en plus complexes ont permis la création de tonnes de métiers.
Le jour où quelqu'un sort un outil qui permet de générer à la volée un jeu vidéo à partir de certains paramètres, c'est une bonne partie de l'industrie qui disparaitra. Et je doute qu'on assistera alors à une explosion de la créativité. Je crains aussi que l'IA générative et particulièrement pour le jeu vidéo ne fasse que renforcer l'individualisme. Si tout le monde joue à son propre jeu, comment créer une communauté ? Et si l'IA n'arrive pas à faire de bonne contrepétrie, comment peut-elle générer quoi que ce soit de rigolo ?
Et accessoirement, pourquoi entraîne-t-on des IA sur des jeux où les gens se tirent dessus ? Doom, Bleeding Edge, StarCraft...