« comment taire »
DESCRIPTION
« Comment taire ». Olivia Grandville et Sylvie Garot. Romain Kronenberg – Nicolas Leroy. Enjeux. Explorer les liens possibles entre geste et son. Trouver dans le geste des informations pertinentes pour le contrôle de la synthèse sonore. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/1.jpg)
« Comment taire »Olivia Grandville et Sylvie Garot
Romain Kronenberg – Nicolas Leroy
![Page 2: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/2.jpg)
Enjeux Explorer les liens possibles entre geste et son.
Trouver dans le geste des informations pertinentes pour le contrôle de la synthèse sonore.
Trouver des traitements sonores qui permettent de transformer une voix naturelle en matériau sonore plus électronique et abstrait.
![Page 3: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/3.jpg)
Traitements sonores MAC G5, Max/MSP
DM2000 – diffusion 6 enceintes
Matériau sonore : voix enregistrées préalablement, captation sonore du plateau en TR
Traitements : Sogs, ring modulation, Spat, delays, sampling, filtres résonants
![Page 4: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/4.jpg)
PC Eyesweb G5 DM2000
Cam 1
Micro1
Micro2
Cam 2
Matrice video
ethernet ADAT
amplisHP1
HP2
HP6
HP3
HP5
HP4
Setup : Audio
![Page 5: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/5.jpg)
Captation et Vidéo
Logiciel utilisé : EyesWeb sur PC, développé par InfoMus Lab à l’université de Gênes (www.eyesweb.org)
2 Caméras DV reliées au PC en composite via une matrice KRAMER commandée par le PC
Données gestuelles envoyées du PC vers le MAC :- liaison Ethernet - protocole Open Sound Control
![Page 6: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/6.jpg)
Setup : Captation et Vidéo
![Page 7: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/7.jpg)
Déroulé du spectacle1. Podium2. Plateau segmenté3. Tractation4. Son plateau5. Final
![Page 8: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/8.jpg)
1. Captation « Podium » Extraction de la couleur de la peau
- Mode YUV (YCbCr : Luminance et Chrominances)- Traitement de la chrominance Cr traduisant la proximité au rouge/rose caractéristique de la couleur de la peau
Utilisation du barycentre des pixels
- Robuste - Envoyé via Open Sound Control au MAC
![Page 9: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/9.jpg)
1. Patch Caméra « Podium »
![Page 10: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/10.jpg)
1. Podium- 86 samples extraits d’un texte, déclenchés successivement en fonction des mains d’Olivia:
- position- proximité - énergie
- Déclenchements de syllabes.
![Page 11: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/11.jpg)
2. Captation « Plafond » Technique de captation :
- Passage en niveaux de gris- Soustraction de fond avec
seuillage :- Photo prise Live ou pré-enregistrée
=> Image binarisée- Filtrage : médian + close- Extraction d’une région (« Blob »)
- Bounding rectangle- Vecteur direction
Ajout de bruit :- Déclenchements aléatoires stoppés
si Olivia rentre dans la zone de captation
Vidéo-projection de l’image traitée
![Page 12: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/12.jpg)
2. Patch Caméra « Plafond »
![Page 13: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/13.jpg)
2. Plateau segmenté- Plateau segmenté en 8 zones.- Chaque zone déclenche une partie du texte - Le texte affecté à chaque zone évolue dans le temps, lorsque toutes les zones ont été déclenchées.- Bruit ajouté dans l’image par EyesWeb => nombreux déclenchements aléatoires. - Olivia prend le pas sur le bruit lorsqu’elle entre dans la zone de captation- Samples envoyés dans Delays avec feedback -> construction d’un matériau sonore.
1 2
6 5
8 3
47
5 6
10 9
12 7
811
![Page 14: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/14.jpg)
3. Tractation- Calcul de l’énergie du corps d’Olivia sur le PPRA et la position du centre de gravité.
- L’ énergie contrôle le point de lecture dans le fichier son (buffer~)
- La vitesse de lecture dépend aussi de la position dans le buffer~
- Si l’énergie est inférieure à un seuil donné, le point de lecture se fige et varie légèrement autour de sa position d’arrêt.
- Sogs -> RM
![Page 15: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/15.jpg)
4. Son plateau- 2 capteurs Accusound sous le plateau.
- Le son est traité successivement avec des filtres résonants, puis de la RM.
- Le son des capteurs est amplifié jusqu’au larsen contrôlé depuis la console.
![Page 16: « Comment taire »](https://reader036.vdocuments.pub/reader036/viewer/2022081512/56816831550346895dddda2b/html5/thumbnails/16.jpg)
5. Final- Retour de Sogs
- En fonction de l’énergie du corps d’Olivia, on avance dans le buffer très vite
- Le son part dans des delays, dont le temps de delay varie abruptement,
- Chaque delay est envoyé dans une enceinte.