Cet article est publié dans le cadre du Festival du jeu de l’oie organisé par l’Université Aix Marseille, qui se tient depuis le 9 mai et jusqu’au 22 juin 2019, et dont The Conversation France est partenaire. Retrouvez le programme complet sur le site de l’événement.
Contrairement à son appellation, le jeu vidéo est loin d’être un objet uniquement visuel, en témoignent ses nombreuses relations avec la musique.
En témoigne la prolifération des jeux de rythme qui proposent au joueur d’incarner un musicien ou un danseur, par exemple Guitar Hero (Activision, 2005). Ces jeux donnent même aujourd’hui lieu à des compétitions internationales professionnelles, mélanges entre performance sportive et comédie musicale.
Les thèmes de ces jeux font majoritairement référence au patrimoine musical mondial au même titre qu’un David Bowie en 3D performant son propre concert virtuel dans le jeu The Nomad Soul (Quantic Dream, 1999). On trouve aussi des propositions relevant d’expérimentations artistiques comme la bande-son générative du jeu Spore (Maxis, 2008) composée par Brian Eno. Le joueur assemble des éléments de corps (patte, mains, ventre…) pour inventer des créatures. Un son est associé à chacun de ces membres, ce qui génère une musique propre à chaque créature. De plus le rythme change en fonction du temps de jeu consécutif. Le joueur agit donc consciemment ou non sur sa propre expérience sonore. Enfin, tous ces sons vidéoludiques liés à l’enfance resurgissent comme des souvenirs nostalgiques dans le cadre par exemple des concerts de l’Orchestre des jeux vidéo québécois ou de la mouvance Chiptune qui utilise jouets/consoles et musiques de jeux comme matière sonore.
Pourtant, le son a longtemps été négligé dans les théories du jeu vidéo. On l’a d’abord approché comme un objet dans la généalogie du cinéma avec l’approche classiques des game studies. Aujourd’hui, c’est dans le champ des play studies, sciences de l’expérience du joueur, que l’on trouve de nouvelles manières d’aborder le son vidéoludique : dans le cadre de l’expérience vécue par le joueur. Mes recherches visent utiliser les jeux vidéo l’apprentissage artistique des arts sonores. Je fais partie de l’équipe de recherche Locus Sonus (ESAAix/CNRS-PRISM) pour travailler sur le développement d’un jeu en ligne dédié à l’expérimentation sonore : New Atlantis. Dans cet article, je vais m’appuyer sur les travaux de Sébastien Genvo et Nicole Pignier pour définir l’expérience vidéoludique avant de parler du rôle du son dans l’engagement du joueur et ces relations avec les images et le gameplay (maniabilité).
Comment aborder l’expérience vidéoludique ?
Avant de parler du rôle du son dans l’expérience qu’offrent les jeux vidéo, il faut définir ce que c’est de « jouer »… Pour jouer, il faut accepter, comme le dit Roger Caillois, de « faire comme si » : le joueur se met en action dans un espace entre le réel, avec ses règles et le fictif du jeu avec les siennes. Pour qualifier cet espace, le psychanalyste Donald Woods Winnicott parle « d’air intermédiaire d’expérience », c’est-à-dire un espace extérieur au joueur mais qui n’appartient pas non plus au monde réel. C’est l’endroit du jeu. Comme le dit Mathieu Triclot, dans le cas des jeux vidéo, : « le jeu ne se situe ni au niveau de l’écran, ni au niveau du joueur » mais dans l’espace entre les deux.
Cette posture du « faire comme si » permet au joueur de se projeter dans l’univers virtuel. Sébastien Genvo et Nicole Pignier précisent cependant que dans le cas du jeu vidéo, le joueur ne cherche pas à être en fusion avec le monde virtuel mais à créer une continuité sensible, perceptive, entre le monde réel et celui du jeu. Ce lien dépend certes de la volonté du joueur « à faire comme si » mais il est aussi régi par le gameplay. En effet, l’univers fictif du jeu vidéo n’est pas donné en amont, avec un livret de règles par exemple. Le joueur découvre le monde du jeu, sa structure et ses règles, dans l’action ludique. C’est le gameplay qui lui permet de participer à la construction de sa propre expérience, de lui donner sens en homogénéisant le réel et la fiction : un geste sur la manette est égal à un mouvement dans le jeu.
Là où nous avons tendance à considérer que l’immersion dans le monde fictif est dépendante des capacités du système à reproduire des éléments du réel, pour créer un état de fusion avec le monde virtuel, Genvo et Pignier constatent que « les joueurs […] préfèrent, entre autres options, sacrifier la qualité́ des graphismes si cela leur permet d’être plus efficaces dans l’aire de jeu. ». On préféra jouer à un jeu moche, si le gameplay est bon. Le joueur est présent jeu vidéo tant qu’il y a continuité entre ses gestes dans le monde réel et ses actions dans le monde virtuel.
L’engagement par le son
Donc, quand je joue, j’actionne une interface ce qui provoque des évènements perceptifs, que je peux voir ou entendre, dans le monde du jeu. C’est la synchronisation entre les sons, les gestes et les images qui va intensifier ou atténuer l’expérience vécue par le joueur, qui va lui permettre d’ajuster sa présence dans jeu. Par ses gestes, le joueur « main-tient » son contrôle sur ce qu’il perçoit.
Le son sert à créer une continuité entre l’espace fictif du jeu et l’espace physique du joueur en le maintenant hagard, à l’affût. Il stimule le joueur en intensifiant son immersion, son engagement, nécessaire à l’acte ludique. Il incite le joueur à prendre « en manette », si je puis dire, son champ perceptif. Les sons acousmatiques, par exemple, dont on ne voit pas la source, vont mettre le joueur en mouvement. C’est un procédé que l’on trouve souvent dans les jeux d’horreur : le joueur entend les monstres sans les voir, ce qui va l’inciter à fuir ou à attaquer (exemple à 7m10 dans cette vidéo de Dead Space, Electronic Arts, 2008).
Le son aide aussi le joueur à rester en état de « faire comme si » en rendant le monde virtuel palpable, il donne corps aux éléments visuels et aux actions du joueur donnant ainsi lieu a des expériences presque synesthésiques. Le son prend part à l’apparition de figures visuo-sonore lors de sa synchronisation avec les images mais surtout les gestes. L’ensemble provoque une harmonie perceptive, entre le corps du joueur et les corps visuo-sonore, source d’un état flow et parfois même de transe, d’engagement dans le monde virtuel. Dans le jeu Dark Echo (RCA7, 2015), par exemple, le joueur est obligé de se déplacer, de faire du bruit pour appréhender l’espace où il se trouve. Chacun de ses gestes lui permet donc de percevoir les images, les sons du monde du jeu mais aussi de trouver les solutions aux énigmes. C’est une parfaite illustration de cette synchronisation et de son influence sur le joueur qui ne peut jamais être contemplatif, toujours en recherche de ce point de synchronisation, il est soumis à un impératif de déplacement.
Un espace artistique, ludique et pédagogique
Mon travail de recherche consiste maintenant à questionner la manière dont ces spécificités pourraient être utilisées dans le cadre de formation artistique aux arts du son. J’ai rejoint l’équipe de recherche Locus Sonus en octobre pour travailler sur le développement d’un jeu vidéo en ligne, multijoueur, dédié à l’expérimentation sonore. New Atlantis est un projet qui expérimente depuis environ dix ans les pratiques sonores dans les univers virtuels.
Nous entrons actuellement dans une nouvelle phase de développement pour en faire un outil aussi bien artistique que pédagogique. S’il est déjà utilisé par des artistes sonores (vous pouvez voir ici les actualités), il servira pour la formation aux arts multimédia des étudiants en école supérieure d’art mais aussi pour la découverte des pratiques sonores auprès de publics divers (enfants ou adultes en atelier de création, en médiation aux arts sonores dans des espaces d’exposition…).
New Atlantis est présenté pendant la journée « Autour du jeu vidéo » du Festival Jeu de l’Oie, le jeudi 20 juin, de 10h à 18h, dans l’espace Le Cube.