les nouvelles dimensions de l'analyse audio/vidéo
TRANSCRIPT
![Page 1: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/1.jpg)
Les nouvelles dimensions de l’analyse audio/vidéo
Mike Knee
Consultant Engineer
Snell
![Page 2: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/2.jpg)
Nouvelles dimensionsL’analyse et le monitoring vidéo et audio est devenu un problème multidimensionnel- live streaming et fichiers- à proximité et à distance- gamme de tailles d’écran- gamme d’options de compression - de nombreux paramètres à surveiller- vidéo et audio ensemble- 3D stéréoscopique
![Page 3: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/3.jpg)
Introduction
• QC – qu’est-ce que c’est?• Le monde multidimensionnel de l’analyse vidéo et audio• Monitoring vidéo et audio – intégrité et contenu• Challenges de monitoring du contenu pour des écrans
multiples• Lip-sync (synchro labiale)• Le suivi des changements de taille et de forme• Mesure objective de la qualité• Faire que les machines regarde la télé 3D pour vous• Surprise!
![Page 4: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/4.jpg)
Quel est QC?
Monitoring
vidéo
audio
métadonnées
Action passer à une chaîne
de sauvegarde
remise à neuf
action contractuelle
Présentationenregistrement
alarmes
vignettes
multiviewer
automatique
![Page 5: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/5.jpg)
Un monde multidimensionnel
fichiers
à proximité
emplacement à distance
taille d’écran
non compressé
compressionbas débit
videoaudio
œil gauche
vidéo
œil droit
live streaming
![Page 6: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/6.jpg)
Monitoring dans le contexte
correction
analyse analyse
correction
ajouter des métadonnées
analyse
lire les métadonnées
analyse comparer
![Page 7: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/7.jpg)
Monitoring vidéoÉtat et standard de l’entrée
Qualité du signal (rapports CRC/EDH)
Niveau de mouvement « Stillish »
Détection d’image gelée (exacte et visuelle)
Noirceur d’image « Blackish » et noir numérique
Détection de AFD / barres latérales « letterbox/pillarbox »Niveau moyen d’image
Limites hautes/basses de Luma/Chroma, débordement/soupassement
Rapports gamut RVB et sa légalisation
Précision de la vidéo
Mesures multi-régions
Vignettes vidéo par TCP/IP
Rapports d’état et mesures par OSD
Monitoring du contenu
Traitement d’images
Monitoring de l’intégrité
Traitement des données
![Page 8: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/8.jpg)
Présence audio
Détection de catégorie audio(PCM, Non-PCM, Dolby E, AC3, MPEG Audio (SMPTE 338M)
Précision audio
Comptage de niveau audio
Silence, Calme, Fort
Surcharge et coupure audio
Position de la bande de garde Dolby E
Rapports de métadonnées Dolby (Program Configuration / Dialnorm)
Audio déphasée (polarité)
Detection Mono/Stéréo
Monitoring audio
Contentmonitoring
Signalprocessing
Integritymonitoring
Dataprocessing
Monitoring du contenu
Traitement d’images
Monitoring de l’intégrité
Traitement des données
![Page 9: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/9.jpg)
SMPTE UMID (insérer, signaler et supprimer)
PID / House Number watermarking (insérer, signaler et supprimer)
Détection de sous-titrage « Closed Captions » (CEA608, CEA708)
AFD - WSS, VI, SMPTE 2016
Indicatif de contenu (XDS, V-chip)
ANC Timecode (720p, 1080i)
VITC Timecode (525, 625)
Détecteurs ANC définis par l’utilisateur
Détection de sous-titres OP47/WST
Rapports de métadonnées SMPTE 2020
Rapports de durée du contenu (enregistrement de timecode)
Monitoring métadonnées
![Page 10: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/10.jpg)
Écrans multiples – les défis
• Suivi du contenu à travers des changements de– résolution
– débit binaire de compression
– aspect d’image
– cadrage
• Formats multiples de fichiers, signaux et métadonnées
• Distinguer entre les changements intentionnels et les erreurs
![Page 11: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/11.jpg)
Lip-sync
PropriétairesEn cours de normalisation(SMPTE TC-24TB-01 AHG on Lip Sync)
empreinte audio
empreinte vidéo
comparer des
empreintes
corriger
corrigerempreinte
audio
empreinte vidéo
formatage des
métadonnées
audio
vidéo
audio
vidéo
![Page 12: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/12.jpg)
Suivi de taille et de forme
![Page 13: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/13.jpg)
« Kitelets » (petits cerfs-volants!)
plus de kitelets en amontmoins de kitelets en aval
![Page 14: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/14.jpg)
Kitelets
![Page 15: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/15.jpg)
Mesure objective de qualité
Voir www.vqeg.org
![Page 16: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/16.jpg)
Mesure de conversion de standards
• Faire une comparaison entre des mesures d’activité des gros blocs de l’image
• Détecter un comportement périodique dans la différence entre les mesures
• Détecter une augmentation inattendue de l'activité, qui pourrait être due à des artéfacts
![Page 17: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/17.jpg)
Mesure de conversion de standards
![Page 18: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/18.jpg)
Mesure de conversion de standards
20
22
24
26
28
30
32
34
36
38
40
build
ings
train_
text
garde
ntra
in_se
tint
erview gir
lten
nisath
letics
table_
tennis
stree
t1str
eet2
sprin
gboa
rdtig
erba
nners
guita
rwhe
elba
llet
rugby
black
board
stree
t3foo
tball
water
mobca
lflo
wers
qual
ity m
easu
re
Converter AConverter BConverter C
![Page 19: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/19.jpg)
3D stéréoscopique
• Détection de formats
• Correspondance de couleurs, niveaux, …
• Synchronisation temporelle
• Analyse de profondeur ou de disparité– monitoring de la disparité
– champ de disparité dense
• Détection d’échange droit-gauche
• Détection de conversions 2D-3D« Faire que les machines
regardent la télé 3D pour vous »
![Page 20: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/20.jpg)
Synchronisation temporelle droit-gauche
Empreintes vidéo
![Page 21: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/21.jpg)
Analyse de profondeur / disparité
• Avertissement d’éventuelle fatigue oculaire– trouver les extrémités de disparité
– dépendance de taille d’écran
• Vérification 3D– profondeur de la 3D
• Déformations géométriques entre les 2 canaux – détecter et corriger
• Insertion de légendes/sous-titres à profondeur appropriée
![Page 22: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/22.jpg)
Affichage de disparité
![Page 23: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/23.jpg)
Champs de disparité denses
gauche à droit droit à gauche
occlusions
SMPTE TC-10E AHG on Disparity Map Representation
![Page 24: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/24.jpg)
Détection d’échange droit-gauche
AB
œil gauche œil droit
plan
fond
B
A
B occlusion (région vue par B seulement)
A occlusion (région vue par A seulement)
![Page 25: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/25.jpg)
Seam Carving « découpage de veines »
• Une méthode de réduction de la largeur d'une image pixel par pixel respectueuse du contenu
• Trouver une veine (ligne connectée de pixels de haut en bas) d’activité minimum
• Supprimer tous les pixels de la veine pour rétrécir l'image d'un pixel
• Répéter l'opération jusqu'à ce que la taille désirée soit atteinte
![Page 26: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/26.jpg)
Seam carving pour des images statiques
![Page 27: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/27.jpg)
Seam carving pour des images animées
original
nonrécursif récursif
![Page 28: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/28.jpg)
Seam carving pour des images animées
non récursif
récursif
![Page 29: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/29.jpg)
Seam carving compensé en mouvement
non compensé en mouvement
compensé en mouvement
![Page 30: Les nouvelles dimensions de l'analyse audio/vidéo](https://reader034.vdocuments.pub/reader034/viewer/2022042700/558a5f45d8b42a0e558b465c/html5/thumbnails/30.jpg)
Démo de seam carving