MURMURATION

Murmuration
Murmuration

Auteur : Yannick Guéguen / Date : 8 janvier 2021

Comment s’inspirer des phénomènes de nuées d’oiseaux pour imaginer une expérience sonore et visuelle qui explore les potentiels des outils immersifs et des réalités augmentées?

schema des données
Schéma : Liste des groupes d'animaux (en anglais).

Lieu

épingle

Web, vitrine et application mobile pour une expérience dans des parcs.

Projet

Murmuration [1] vise à créer un environnement pour la composition sonore interactive basée sur les comportements fluides des vols d’oiseaux, appelés aussi nuées ou rondes. Le spectateur est donc engagé dans un environnement immersif, de type « jeu vécu à la première personne » (First person game) en vision 360 degrés. Chaque entité de la nuée émet un son similaire, mais avec des rythmes différents pour produire une musique d’ensemble avec des intensités variables selon la position de la nuée par rapport au spectateur. Ce ballet musical évolue autour de lui.

Plusieurs versions du même dispositif seront testées afin de voir le potentiel des différentes approches :

  1. Site web 3d (XR);
  2. Expérience AR et VR avec Unity 3D;
  3. Projection vidéo en vitrine (vidéomapping).

L’objectif est d’envisager les différentes plateformes pour rendre le projet utilisable facilement par le visiteur.

Problématique

L’art s’est toujours intéressé à des phénomènes scientifiques complexes. Les nuées d’oiseaux en font partie. Les nombreuses recherches sur la question tentent d’en expliquer le phénomène, mais des mystères persistent. Les recherches sur les comportements de groupe et des acteurs autonomes (Craig W. Reynolds (1997)) viendront aussi appuyer le travail de représentation de ces phénomènes.

Le projet interroge aussi nos besoins vitaux, par exemple le besoin de connexion, de coopération, de liberté, de réciprocité, mis à mal par la pandémie que nous venons de vivre. Il célèbre ces valeurs, tout en ouvrant une réflexion sur nos relations à la nature.

Objectif

Cette œuvre propose une nouvelle forme de composition musicale, accessible par le web ou des applications mobiles, mais qui s’expérimente aussi in situ, dans des parcs notamment. Par ailleurs, l’intérêt du projet réside dans l’expérimentation d’une expérience sonore de sons en mouvement autour du spectateur. Les micro-sonorités diffusées par chaque entité de la nuée viendront donc former une composition spatialisée autour du spectateur, qui percevra alors la masse sonore animée autour de lui. Autrement dit, comme un orchestre en mouvement, plusieurs groupes pourront suivre des trajectoires différentes et émettre des sons variables avec des rythmes et des cadences singulières.

Le projet est donc une recherche sonore de composition audio interactive basée sur des micro-sonorités. Les techniques de synthèse granulaire et de création musicale de sonorité impulsive à majorité aiguë seront explorées. Ce projet ouvre une nouvelle voie possible pour la spatialisation sonore immersive.

Des versions plus interactives pourront aussi être expérimentées, en offrant le contrôle au spectateur sur certains paramètres.

Au niveau visuel, des masses d’oiseaux en mouvement viendront se déployer autour du spectateur. Un oiseau type sera donc aussi modélisé et animé (en « rigging ») pour atteindre un certain réalisme et une certaine crédibilité. Il sera réalisé avec Blender 3D ou Houdini Fx. Dans cet objectif des effets de réalités augmentées seront aussi introduits notamment avec l’utilisation de la caméra (du téléphone ou de la webcam) pour intégrer la scène dans l’environnement réel du spectateur. Une version pourra être produite pour la vitrine, notamment en définissant des limites à la scène et en projetant l’animation par vidéomapping sur les surfaces de l’espace. Le projet pourra aussi s’expérimenter dans le Champ des possibles, en partenariat avec l’organisme qui le gère, ou bien dans un autre parc de Montréal. Le projet pouvant se réaliser dans n’importe espace naturel, d’autres partenariats pourront être envisagés.

Méthode

Effets sonores
Schéma : Synonymes des effets d'après À l’écoute de l’environnement : Répertoire des effets sonores (Jean-François Augoyard, Henry Torgue (1995)).

La réflexion s’appuie aussi sur la notion d’effets sonores psychomoteurs, telle que la définie les auteurs Jean-François Augoyard et Henry Torgue dans « À l’écoute de l’environnement : Répertoire des effets sonores » (1995). Ainsi, le projet joue avec des effets d’attraction ou de répulsion, d’enchaînement ou de désynchronisation, de créneau ou d’enchaînement, d’intrusion ou d’irruption, etc. L'œuvre propose une expérience immersive tantôt plutôt visuelle lorsque la masse d’oiseaux est plus lointaine, tantôt plus corporelle quand la masse est plus proche du spectateur.

schema des données
Schéma : Liste des comportements de direction avec programmation génétique (d'après Daniel Vogel (2004).

Prototype

Vidéo : Test sur Blender 3D.
Vidéo : Test sur Unity 3D.

Notes

[1] Murmuration (anglicisme) ou bien agrégation. On parle aussi de nuée pour les oiseaux ou de ronde. Source: Wikipedia

Références scientifiques

M. Ballerini, N. Cabibbo, R. Candelier, A. Cavagna, E. Cisbani, I. Giardina, V. Lecomte, A. Orlandi, G. Parisi, A. Procaccini, M. Viale, and V. Zdravkovic (2008) Interaction ruling animal collective behavior depends on topological rather than metric distance: Evidence from a field study, PNAS January 29, 2008 105 (4) 1232-1237.

Andrea Cavagna, Alessio Cimarelli, Irene Giardina, Giorgio Parisi, Raffaele Santagati, Fabio Stefanini, and Massimiliano Viale (2010) Scale-free correlations in starling flocks ,PNAS June 29, 2010 107 (26) 11865-11870.

Hemelrijk CK, Hildenbrandt H (2011) Some Causes of the Variable Shape of Flocks of Birds. PLoS ONE 6(8): e22479.

Swarm intelligence journal

Références en programmation

Craig W. Reynolds (1997) Steering Behaviors For Autonomous Characters.

Daniel Vogel, September 2004 Course project for CSC 2521 Artificial Life, University of Toronto

Références sonores

Jean-François Augoyard, Henry Torgue (1995) À l’écoute de l’environnement : Répertoire des effets sonores, Collection : Habitat / Ressources.

/////////////////////