Aussi loin qu’il s’en souvienne, Ber trand, data scientist chez Agaetis, a toujours été passionné par les jeux vidéo. Poussé par cette passion il s’est concentré sur ce qu’il appelle l’Auto Testing (AT). Lien entre sa passion pour le développement de jeux et sa profession, l’AT permet d’approcher le développement d’un jeu vidéo d’une façon différente pour capitaliser dès le départ sur la valorisation des données de tests. 

Bertrand nous explique tout ! 

The Riot Games global control center in Los Angeles ( source )

Je ne retrouve pas le terme sur internet… Qu’est-ce que l’auto-test ? 

Je définis l’autotest comme l’ensemble des méthodes et outils utilisés pour accompagner la réalisation des tests automatisés et ainsi limiter les efforts humains sur des tests traditionnels dans le domaine des jeux vidéo.

À la différence du test automatisé classique, qui s’attache à trouver des bugs dans le code, on parle ici de paramètres de gameplay qui influencent les mathématiques du jeu, sa difficulté, la progression du joueur, l’équilibrage, et qui participent à l’expérience utilisateur. Par exemple : les points de vie des adversaires, les dégâts des armes…

C’est aussi une manière d’aborder le développement d’un jeu en insistant très tôt sur la récupération et la valorisation des données des tests classiques. On renforce ainsi l’expertise des testeurs humains, tout en mettant en place des outils pour accélérer et sécuriser cette modélisation du jeu. 

Pourquoi choisir ce nom alors que d’autres usages peuvent également s’y référer ?

L’idée de tests automatisés existe depuis longtemps dans le développement de logiciels, comme avec Selenium qui permet d’automatiser un « parcours » UI en cliquant sur des boutons, remplir des champs etc… 

Habituellement, lorsque l’on parle d’automated testing, il s’agit plus d’identifier des bugs dans un jeu vidéo. Le terme d’autotest, ou Auto Testing, fait plus référence selon moi à l’Auto ML, qui est utilisé pour optimiser les hyper-paramètres des algorithmes de machine learning.

Appliqué au cas d’un jeu, l’objectif est d’optimiser les paramètres de gameplay pour, par exemple, ajuster la courbe de difficulté. Certaines entreprises se sont déjà positionnées sur ce créneau, comme par exemple modAi : ils utilisent des réseaux de neurones pour simuler le comportement des joueurs.

Ce genre d’exemple reste inaccessible pour la grande majorité des créateurs de jeu. C’est pourquoi notre démarche est avant tout de démystifier et montrer que les outils ainsi que les bonnes pratiques data sont à la portée de tous et peuvent autant aider au développement d’un jeu.

L’Auto Testing serait plutôt un but à atteindre, avec comme prérequis une acculturation à la data dans tout le processus de production et en particulier au début du projet.

Fais-tu appel à d’autres personnes dans l’entreprise ou en externe pour t’aider dans tes recherches ?

L’industrie du jeu vidéo n’est pas si différente des autres industries qui génèrent et exploitent de la data. De la même façon, la priorité n’est pas donnée à la data lors de la création d’un nouveau produit. Parmi nos clients, il est fréquent de faire une acculturation à la data et aux outils associés avant de pouvoir commencer à travailler.

À partir de ces constats, je me suis beaucoup appuyé sur les expériences d’Agaetis dans ce domaine, et notamment des technologies/outils/méthodes de travail utilisés chez nos clients, tous secteurs confondus : pneumatiques, aéronautique, banque… Ajoutez à cela les compétences qui permettent de passer d’une vision produit à un produit fini. Je pense notamment à toutes les étapes depuis la donnée brute jusqu’à sa visualisation sous forme de dashboard par les équipes métier (architectes, data ingénieurs, data scientist, développeurs front…).

D’où te viens cette appétence pour ce sujet ? 

Comme beaucoup de personnes de ma génération, je suis tombé dans les jeux vidéo dès mon plus jeune âge (la NES pour ma part). Je développe en plus des jeux à titre personnel depuis presque 10 ans. Ma carrière initiale était dans la simulation numérique de phénomènes physiques, j’ai toujours vu et perçu les jeux comme de véritables laboratoires virtuels.

Pour moi, les techniques de simulation de l’industrie pouvaient être utilisées pour faire de meilleurs jeux. Cette pensée m’a amenée à travailler dans ce milieu pour observer la façon d’opérer lors des phases de test et comment elles se conjuguent avec le développement.
Travailler dans l’assurance qualité de jeux vidéo est une expérience saisissante et peu de personnes se rendent compte de la complexité pour tester et rendre un produit final parfait, sans défaut. C’est quelque chose qu’on retrouve dans les avis des joueurs, ils ont l’impression que des jeux vendus de plus en plus cher ne sont jamais vraiment finis. Ce sentiment est accentué par certaines pratiques comme l’early access (quand le consommateur endosse le rôle de testeur), qui a des avantages mais manque de transparence sur ce qu’est le test dans les jeux modernes.

Pour moi cette situation est en partie liée à l’absence d’Auto Testing, ou plus généralement à un manque d’acculturation à la donnée.

Les jeux sont plus durs à tester, est-ce que ce n’est pas dû à l’évolution des technologies ?

C’est paradoxal ! 

D’un côté on a effectivement une complexification continue des univers vidéoludiques : carte graphique et processeur plus performant , environnement plus vastes (open world) et parfois générés par des algorithmes (roguelike), plus de fonctionnalités également. La conséquence : des adversaires IA plus complexes à mettre en œuvre et un jeu plus difficile à tester dans son ensemble. 

Le meilleur exemple est la série civilisation de  Sid Meier  ; le challenge offert par l’IA adverse devient de plus en plus faible au fil des nouveaux épisodes (le 6ème actuellement).

D’un autre côté, l’ensemble des technologies et méthodes de travail liées à la donnée a explosé ces 10 dernières années. Porté par la puissance des machines, bien sûr, mais aussi et surtout par la démocratisation des outils pour le traitement des données — on peut citer python Pandas ou Rstudio, mais cela concerne aussi les bases de données, les API, les dashboard, les tableurs, ainsi que les méthodes de travail en entreprise comme l’agile, le lean…

On pourrait se demander si l’industrie des jeux vidéo n’aurait d’ailleurs pas tout misé sur le premier point ! 

Quels sont les objectifs derrière l’Auto Testing ?

L’idée derrière l’Auto Testing n’est pas de livrer une solution magique, mais plutôt d’accompagner une transition data pour faire de meilleurs jeux ! De former des équipes, les organiser et libérer les expériences métier de ceux qui savent créer des jeux vidéo. 

C’est aussi une démarche du côté des sociétés IT comme Agaetis, de montrer l’importance des jeux vidéo, rappeler le lien avec l’industrie de la robotique ou de l’intelligence artificielle, entre autres. D’ailleurs petite anecdote sur les voitures autonomes : le directeur IA de Tesla est également célèbre pour son IA Pacman en 100 lignes de code python…

Mais on a l’impression que le jeu vidéo est un vase clos, éloigné des évolutions du traitement de données. Pour s’en convaincre j’invite à lire l’ interview de test guild  en 2020, dans laquelle il explique que le jeu World of Warcraft n’avait aucune forme d’Auto Testing. Pour moi, la conséquence ce ne sont pas juste les bugs, mais le fait que l’expérience proposée est bridée en termes de possibilités !

J’ai l’impression que ce sujet est très personnel pour toi ?  

Oui c’est un sujet personnel parce que je m’inquiète plus de l’impact des jeux sur mes enfant que de celui des films, et je me pose beaucoup de questions :

• Combien de tentatives de l’État français pour créer des jeux éducatifs ?
• Combien de ressources humaines gaspillées pour créer le même mmorpg en boucle (jeu « massivement multijoueur », comme World of Warcraft) ? 
• Pourquoi le PVE (joueur contre un environnement) est-il si peu mis en avant par rapport au jeu PVP (joueur contre joueur) ?
• Et pourquoi les développeurs de jeu PVP investissent massivement sur l’autotesting ? 

Il y a effectivement beaucoup à dire sur les jeux vidéo mais comment procéder ? Quelles sont les prochaines étapes autour de l’Auto Testing ?  

J’espère que le sujet trouvera une oreille attentive, il est difficile de financer son développement dans le monde impitoyable des jeux vidéos. La bonne gestion des données n’est pas suffisante pour assurer la réussite et la rentabilité des projets de jeux.

Il existe des conférences sur le lien entre computer science et jeu vidéo traitant de l’intelligence artificielle, des algorithmes de création de contenu ou encore de la génération procédurale, du lien entre jeu vidéo et robotique, mais le sujet de l’Auto Testing reste marginal.

On peut aussi capitaliser sur les initiatives récentes de certains studios qui communiquent sur des expérimentations en interne (je parle ici de jeu solo, le cas du esport est très particulier). Baldur’s Gate 3 et son testeur de monde, ou le jeu indépendant Spellunky, utilisent eux l’Auto Testing pour vérifier le level design. Monstertrain et son dashboard pour capitaliser sur la donnée de test.

Notre approche vise à vulgariser ce type d’initiatives pour qu’elles soient accessibles au plus grand nombre. Cela passe par une communication la plus large possible : publication sur internet, revues scientifiques, proof of concept avec notamment la création d’un jeu, et prise de contact avec les producteurs quel que soit leur budget.

En tant que passionné j’échange souvent sur ces sujets avec des créateurs et sans surprise la data est souvent délaissée. Le chemin est encore long, il ne tient qu’à nous de trouver les bons arguments pour sensibiliser les acteurs du marché. 

Pour aller plus loin :

• interview de test guild :  https://testguild.com/automate-video-games/  
• exemples d’utilisation de l’autotesting sur des jeux récents :
• Baldur gates  :  Baldur’s Gate 3 devs built a testing AI. Then, they tried   
• Spelunky  :  This AI was created to beat the hardest game of 2020
• MonsterTrain  :  Monster Train: very literally a train full of monsters