Download - Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction
![Page 1: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/1.jpg)
iMAGIS-GRAVIR / IMAG
ModModélisation de cheveux élisation de cheveux à partir d’images par étude à partir d’images par étude
des variations d’apparence en fonctiondes variations d’apparence en fonctiondes conditions d’éclairagedes conditions d’éclairage
ModModélisation de cheveux élisation de cheveux à partir d’images par étude à partir d’images par étude
des variations d’apparence en fonctiondes variations d’apparence en fonctiondes conditions d’éclairagedes conditions d’éclairage
iMAGIS est un projet commun CNRS–INPG–INRIA-UJF
AFIG 2001
Stéphane GrabliStéphane GrabliStéphane GrabliStéphane Grabli François SillionFrançois SillionFrançois SillionFrançois Sillion
![Page 2: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/2.jpg)
iMAGIS-GRAVIR / IMAG
ButButButBut
Acquérir un modèle 3D des cheveux d’un Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies.sujet spécifique à partir de photographies.
Acquérir un modèle 3D des cheveux d’un Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies.sujet spécifique à partir de photographies.
![Page 3: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/3.jpg)
iMAGIS-GRAVIR / IMAG
PlanPlanPlanPlan
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
![Page 4: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/4.jpg)
iMAGIS-GRAVIR / IMAG
• But: maquette virtuelle d’un individu en But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant vue d’un rendu interactif permettant l’identification visuellel’identification visuelle
• Applications: visioconférence, jeux Applications: visioconférence, jeux vidéosvidéos
• But: maquette virtuelle d’un individu en But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant vue d’un rendu interactif permettant l’identification visuellel’identification visuelle
• Applications: visioconférence, jeux Applications: visioconférence, jeux vidéosvidéos
Shag Hair de Digimation (pour 3DS-Max)www.digimation.com
www.cyberware.com
MotivationsMotivationsMotivationsMotivations
![Page 5: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/5.jpg)
iMAGIS-GRAVIR / IMAG
• Complexité de la Complexité de la géométrie des cheveux géométrie des cheveux (échelle, nombre)(échelle, nombre)
• Echec des techniques Echec des techniques classiques de classiques de numérisation 3Dnumérisation 3D
• Problème non résoluProblème non résolu
• Complexité de la Complexité de la géométrie des cheveux géométrie des cheveux (échelle, nombre)(échelle, nombre)
• Echec des techniques Echec des techniques classiques de classiques de numérisation 3Dnumérisation 3D
• Problème non résoluProblème non résolu
ProblématiqueProblématiqueProblématiqueProblématique
![Page 6: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/6.jpg)
iMAGIS-GRAVIR / IMAG
• Etude de la réflectance, sur des Etude de la réflectance, sur des images, pour en extraire la géométrieimages, pour en extraire la géométrie
• SSujet fixe, point de vue fixe et source ujet fixe, point de vue fixe et source lumineuse mobile.lumineuse mobile.
• Etude de la réflectance, sur des Etude de la réflectance, sur des images, pour en extraire la géométrieimages, pour en extraire la géométrie
• SSujet fixe, point de vue fixe et source ujet fixe, point de vue fixe et source lumineuse mobile.lumineuse mobile.
Approche choisieApproche choisieApproche choisieApproche choisie
![Page 7: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/7.jpg)
iMAGIS-GRAVIR / IMAG
PlanPlanPlanPlan
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
![Page 8: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/8.jpg)
iMAGIS-GRAVIR / IMAG
Etat de l’artEtat de l’artEtat de l’artEtat de l’art
Modélisation de cheveux à partir Modélisation de cheveux à partir d’imagesd’images
• modélisation géométrique d’un volume modélisation géométrique d’un volume de cheveux [MN]de cheveux [MN]
Modélisation de cheveux à partir Modélisation de cheveux à partir d’imagesd’images
• modélisation géométrique d’un volume modélisation géométrique d’un volume de cheveux [MN]de cheveux [MN]
![Page 9: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/9.jpg)
iMAGIS-GRAVIR / IMAG
Etat de l’artEtat de l’artEtat de l’artEtat de l’art
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
• Goldman [Gol97]Goldman [Gol97]
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
• Goldman [Gol97]Goldman [Gol97]
![Page 10: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/10.jpg)
iMAGIS-GRAVIR / IMAG
PlanPlanPlanPlan
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
![Page 11: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/11.jpg)
iMAGIS-GRAVIR / IMAG
Contrôle et connaissance des Contrôle et connaissance des positions de caméra et de positions de caméra et de lumièrlumièree
• Système d’acquisition deSystème d’acquisition de StanfordStanford
Précision au pixel:Précision au pixel: méthodologieméthodologie
• Sujet: perruqueSujet: perruque
Contrôle et connaissance des Contrôle et connaissance des positions de caméra et de positions de caméra et de lumièrlumièree
• Système d’acquisition deSystème d’acquisition de StanfordStanford
Précision au pixel:Précision au pixel: méthodologieméthodologie
• Sujet: perruqueSujet: perruque
Acquisition des donnéesAcquisition des donnéesAcquisition des donnéesAcquisition des données
![Page 12: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/12.jpg)
iMAGIS-GRAVIR / IMAG
MéthodeMéthodeMéthodeMéthode
Extraction des directions de mèches dans chaque image
Construction d’un masque de vecteurs pour la séquence
Reconstruction 3D des vecteurs
Construction de mèches 3D
![Page 13: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/13.jpg)
iMAGIS-GRAVIR / IMAG
MéthodeMéthodeMéthodeMéthode
Extraction des directions de mèches dans chaque image
Construction d’un masque de vecteurs pour la séquence
Reconstruction 3D des vecteurs
Construction de mèches 3D
![Page 14: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/14.jpg)
iMAGIS-GRAVIR / IMAG
Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image
Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image
• Dans 1 pixel ~ 1 mècheDans 1 pixel ~ 1 mèche
• Extraction de la direction Extraction de la direction de cette mèchede cette mèche
• Dans 1 pixel ~ 1 mècheDans 1 pixel ~ 1 mèche
• Extraction de la direction Extraction de la direction de cette mèchede cette mèche
![Page 15: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/15.jpg)
iMAGIS-GRAVIR / IMAG
Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image
Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image
![Page 16: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/16.jpg)
iMAGIS-GRAVIR / IMAG
MéthodeMéthodeMéthodeMéthode
Extraction des directions de mèches dans chaque image
Construction d’un masque de vecteurs pour la séquence
Reconstruction 3D des vecteurs
Construction de mèches 3D
![Page 17: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/17.jpg)
iMAGIS-GRAVIR / IMAG
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
pp pppp
pppp
Pixel p
{ t0, t1, ..., tn }
![Page 18: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/18.jpg)
iMAGIS-GRAVIR / IMAG
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
pp pppp
pppp
Pixel p
{ t0, t1, ..., tn }
bruitbruitbruitbruit
![Page 19: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/19.jpg)
iMAGIS-GRAVIR / IMAG
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
• 1er test1er test: nombre : nombre de vecteurs de la de vecteurs de la collectioncollection
• 1er test1er test: nombre : nombre de vecteurs de la de vecteurs de la collectioncollection
• 2ème test2ème test: : variance en angle des variance en angle des vecteursvecteurs
• 2ème test2ème test: : variance en angle des variance en angle des vecteursvecteurs
NONNONNONNON
OUIOUI
NONNON
![Page 20: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/20.jpg)
iMAGIS-GRAVIR / IMAG
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
Construction d’un masque de Construction d’un masque de vecteurs pour la séquencevecteurs pour la séquence
Pixel p0Pixel p0
![Page 21: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/21.jpg)
iMAGIS-GRAVIR / IMAG
MéthodeMéthodeMéthodeMéthode
Extraction des directions de mèches dans chaque image
Reconstruction 3D des vecteurs
Construction de mèches 3D
![Page 22: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/22.jpg)
iMAGIS-GRAVIR / IMAG
Génération des vecteurs 3D candidats
Génération des vecteurs 3D candidats
Image
t
Centre optique de la caméra
• Informations géométriques sur T• Informations géométriques sur T
![Page 23: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/23.jpg)
iMAGIS-GRAVIR / IMAG
Génération des vecteurs 3D candidats
Génération des vecteurs 3D candidats
Image
t
Centre optique de la caméra
Plan TT
• Informations géométriques sur T• Informations géométriques sur T
![Page 24: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/24.jpg)
iMAGIS-GRAVIR / IMAG
Génération des vecteurs 3D candidats
Génération des vecteurs 3D candidats
Image
t
Centre optique de la caméra
Plan TTVecteurs 3D candidats
• Informations géométriques sur T• Informations géométriques sur T
![Page 25: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/25.jpg)
iMAGIS-GRAVIR / IMAG
Les profils de pixel mesurésLes profils de pixel mesurés
• Informations de réflectance sur T• Informations de réflectance sur T
pppppppp
ppppProfil de
pixelmesuré(courbe
RGB)
Profil de pixel
mesuré(courbe
RGB)
0000 1111
nnnn
0 1 2 ... 0 1 2 ... nn0 1 2 ... 0 1 2 ... nn 0 0
nn0 0 nn
255255255255
00 00
![Page 26: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/26.jpg)
iMAGIS-GRAVIR / IMAG
• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée
• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée
Synthèse des profils de pixel théoriques
Synthèse des profils de pixel théoriques
![Page 27: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/27.jpg)
iMAGIS-GRAVIR / IMAG
• Pb: ombre mesurée mais pas modélisée
• 2 solutions: - compléter le modèle ([Ban94], [Gol97])
- tronquer les mesures
• Pb: ombre mesurée mais pas modélisée
• 2 solutions: - compléter le modèle ([Ban94], [Gol97])
- tronquer les mesures
Etude de corrélationEtude de corrélation
![Page 28: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/28.jpg)
iMAGIS-GRAVIR / IMAG
• Comment mesurer cette corrélation ?
• Introduction d’une fonction d’énergie:
Edist
• Comment mesurer cette corrélation ?
• Introduction d’une fonction d’énergie:
Edist
Etude de corrélationEtude de corrélation
![Page 29: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/29.jpg)
iMAGIS-GRAVIR / IMAG
• Choix du minimum des Edist
• Cas OK:
• Choix du minimum des Edist
• Cas OK:
Election et mesure de confianceElection et mesure de confiance
![Page 30: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/30.jpg)
iMAGIS-GRAVIR / IMAG
• Cas problématiques• Cas problématiques
(1)
(2)
Election et mesure de confianceElection et mesure de confiance
(3)
Coefficient de confianceCoefficient de confiance
![Page 31: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/31.jpg)
iMAGIS-GRAVIR / IMAG
Election et mesure de confianceElection et mesure de confiance
![Page 32: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/32.jpg)
iMAGIS-GRAVIR / IMAG
Affinage du masque de vecteurs 3DAffinage du masque de vecteurs 3D
![Page 33: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/33.jpg)
iMAGIS-GRAVIR / IMAG
MéthodeMéthodeMéthodeMéthode
Extraction des directions de mèches dans chaque image
Construction de mèches 3D
![Page 34: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/34.jpg)
iMAGIS-GRAVIR / IMAG
Construction de mèchesConstruction de mèches
• Dans l’espace image
• Méthode inspirée des contours adaptatifs
• Dans l’espace image
• Méthode inspirée des contours adaptatifs
![Page 35: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/35.jpg)
iMAGIS-GRAVIR / IMAG
• Masque de vecteurs 3D + mèches 2D -> mèches 3D• Masque de vecteurs 3D + mèches 2D -> mèches 3D
Construction de mèchesConstruction de mèches
![Page 36: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/36.jpg)
iMAGIS-GRAVIR / IMAG
PlanPlanPlanPlan
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
![Page 37: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/37.jpg)
iMAGIS-GRAVIR / IMAG
1 séquence d’images1 séquence d’images
![Page 38: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/38.jpg)
iMAGIS-GRAVIR / IMAG
plusieurs séquences d’imagesplusieurs séquences d’images
![Page 39: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/39.jpg)
iMAGIS-GRAVIR / IMAG
PlanPlanPlanPlan
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
IntroductionIntroduction
Etat de l’artEtat de l’art
Illustration de la méthodeIllustration de la méthode
RésultatsRésultats ConclusionConclusion
![Page 40: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/40.jpg)
iMAGIS-GRAVIR / IMAG
ConclusionConclusion
• Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente
• Limitations - positionnement des vecteurs de cheveux 3D approximatif
• Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif
• Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente
• Limitations - positionnement des vecteurs de cheveux 3D approximatif
• Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif
![Page 41: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/41.jpg)
iMAGIS-GRAVIR / IMAG
Merci...
Questions ?
Merci...
Questions ?
![Page 42: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/42.jpg)
iMAGIS-GRAVIR / IMAG
• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée
• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée
Synthèse des profils de pixel théoriques
Synthèse des profils de pixel théoriques
• Paramètres du modèle:
- T, L , E
• Paramètres du modèle:
- T, L , E
PT L
EE’
connuconnuconnuconnudépendent de dépendent de PPdépendent de dépendent de PP
![Page 43: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/43.jpg)
iMAGIS-GRAVIR / IMAG
• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée
• Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée
Synthèse des profils de pixel théoriques
Synthèse des profils de pixel théoriques
• Paramètres du modèle:
- T, L , E
• Paramètres du modèle:
- T, L , E
PT L
EE’
connuconnuconnuconnudépendent de dépendent de PPdépendent de dépendent de PP
![Page 44: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/44.jpg)
iMAGIS-GRAVIR / IMAG
• Approximation: Ellipsoïde pour simuler la surface descheveux.
• P = intersection (Ellipsoïde, rayon p->oeil)
• Approximation: Ellipsoïde pour simuler la surface descheveux.
• P = intersection (Ellipsoïde, rayon p->oeil)
t
ImageCentre optique
p
PL
E
Synthèse des profils de pixel théoriques
Synthèse des profils de pixel théoriques
![Page 45: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/45.jpg)
iMAGIS-GRAVIR / IMAG
• Représentations explicites
[VW97] An Interactive fur modeling techniqueA.V. Gelder, J. Wilhelms
[WS92] utilise un prisme trigonal pour modéliser un cylindre
ReprésentationsEtat de l’art
![Page 46: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/46.jpg)
iMAGIS-GRAVIR / IMAG
• Représentations alternatives:- Texels – [KK89], [MN98], [Len00a],
[Len00b]Texels
reference volume
[Len00b] Real-time fur over arbitrary surfaces,Jed Lengyel
[MN98] Interactive volumetric textures, A. Meyer, F. Neyret
ReprésentationsEtat de l’art
![Page 47: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/47.jpg)
iMAGIS-GRAVIR / IMAG
ReprésentationsEtat de l’art
[Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three
dimensional textures, J.T.Kajiya T.L.Kay
![Page 48: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/48.jpg)
iMAGIS-GRAVIR / IMAG
• Algorithmes issus du « Shape from Shading » non applicables
• Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks
http://www.eerie.fr/~vision/alquier/Work/shape.html
RemarqueEtat de l’art
![Page 49: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/49.jpg)
iMAGIS-GRAVIR / IMAG
Extraction des directions de mèches dans chaque image
Notre méthode
• Filtre de Sobel horizontal:
• Filtre de Sobel vertical:
-1 0 1
-2 0 2
-1 0 1
-1 -2 -1
0 0 0
1 0 1
![Page 50: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/50.jpg)
iMAGIS-GRAVIR / IMAG
• Implémentation: algorithme k-mean
• Particularité: regroupement dans l’espace TLS, en utilisant L, calcul des nouveaux centres dans l’espace RGB
Reconstruction 3D des vecteursSynthèse des profils de pixel
théoriques
![Page 51: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/51.jpg)
iMAGIS-GRAVIR / IMAG
Résultats
![Page 52: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/52.jpg)
iMAGIS-GRAVIR / IMAG
• Ks, Kd: liés aux couleurs du matériau
• Extraction de 3 couleurs sur la séquence: diffus, spéculaire, ombre: - Segmentation sur chaque image - Moyennes
Reconstruction 3D des vecteursSynthèse des profils de pixel
théoriques
![Page 53: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/53.jpg)
iMAGIS-GRAVIR / IMAG
• Edist = Eextrema + Eshape• Edist = Eextrema + Eshape
Ke x (\x1 – x2\)rKe x (\x1 – x2\)r
• Eextrema si on a 1 maximum de part et d’autre (x1 et x2 leurs abscisses)• Eextrema si on a 1 maximum de part et d’autre (x1 et x2 leurs abscisses)
Etude de corrélationEtude de corrélation
![Page 54: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/54.jpg)
iMAGIS-GRAVIR / IMAG
• Edist = Eextrema + Eshape• Edist = Eextrema + Eshape
| fm(x) – ft(x) | dx| fm(x) – ft(x) | dx
Etude de corrélationEtude de corrélation
IvIvIvIv
~~~~ ~~~~
• Eshape mesure l’amplitude moyenne de l’écart entre les deux courbes fm(x) et ft(x)• Eshape mesure l’amplitude moyenne de l’écart entre les deux courbes fm(x) et ft(x)
![Page 55: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/55.jpg)
iMAGIS-GRAVIR / IMAG
• Choix du minimum des Edist
• Cas OK:
• Choix du minimum des Edist
• Cas OK:
Election et mesure de confianceElection et mesure de confiance
ExemplesExemples
![Page 56: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/56.jpg)
iMAGIS-GRAVIR / IMAG
• Cas problématiques• Cas problématiques
(1)
Election et mesure de confianceElection et mesure de confiance
![Page 57: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/57.jpg)
iMAGIS-GRAVIR / IMAG
• Cas problématiques• Cas problématiques ExempleExemple
(1)
Election et mesure de confianceElection et mesure de confiance
???? ????
![Page 58: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/58.jpg)
iMAGIS-GRAVIR / IMAG
• Cas problématiques• Cas problématiques
(1)
(2)
Election et mesure de confianceElection et mesure de confiance
![Page 59: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/59.jpg)
iMAGIS-GRAVIR / IMAG
• Cas problématiques• Cas problématiques
(1)
(2)
Election et mesure de confianceElection et mesure de confiance
(3)
![Page 60: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/60.jpg)
iMAGIS-GRAVIR / IMAG
• Cas problématiques• Cas problématiques
(1)
(2)
Election et mesure de confianceElection et mesure de confiance
(3)
• Coefficient de confiance• Coefficient de confiance
![Page 61: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/61.jpg)
iMAGIS-GRAVIR / IMAG
• Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance:
- Ctrust = 0 si n minima != 1
- Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1
• Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance:
- Ctrust = 0 si n minima != 1
- Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1
Election et mesure de confianceElection et mesure de confiance
![Page 62: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/62.jpg)
iMAGIS-GRAVIR / IMAG
ContributionsContributions
• Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux
• Résultats répondent à notre attente
• Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux
• Résultats répondent à notre attente
![Page 63: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/63.jpg)
iMAGIS-GRAVIR / IMAG
LimitationsLimitations
• positionnement des vecteurs de cheveux 3D approximatif• positionnement des vecteurs de cheveux 3D approximatif
![Page 64: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/64.jpg)
iMAGIS-GRAVIR / IMAG
Travaux futursTravaux futurs
• A terme: analyse géométrique ([MN]) couplée à l’étude de la réflectance
• Modèle + rendu interactif
• A terme: analyse géométrique ([MN]) couplée à l’étude de la réflectance
• Modèle + rendu interactif
![Page 65: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/65.jpg)
iMAGIS-GRAVIR / IMAG
Etat de l’artEtat de l’artEtat de l’artEtat de l’art
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
[KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay
![Page 66: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/66.jpg)
iMAGIS-GRAVIR / IMAG
P
T L
Etat de l’artEtat de l’artEtat de l’artEtat de l’art
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
specular (P) + diffuse (P)
diffuse (P) = Kd sin(T, L)
![Page 67: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/67.jpg)
iMAGIS-GRAVIR / IMAG
P
T L
E
E’
Etat de l’artEtat de l’artEtat de l’artEtat de l’art
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• Kajiya, KayKajiya, Kay [KK89][KK89]
specular (P) + diffuse (P)
diffuse (P) = Ks cosp(E, E’)
![Page 68: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/68.jpg)
iMAGIS-GRAVIR / IMAG
Etat de l’artEtat de l’artEtat de l’artEtat de l’art
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• DirectionnalitéDirectionnalité [Gol97][Gol97]
Modèle d’éclairement du cheveuModèle d’éclairement du cheveu
• DirectionnalitéDirectionnalité [Gol97][Gol97]
fdir (specular (P) + diffuse (P))
TLE
k > 0
T
L
E
k < 0
![Page 69: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/69.jpg)
iMAGIS-GRAVIR / IMAG
Seuillage en amplitude
Rotation de 90degrés
Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image
Extraction des directions de mèches Extraction des directions de mèches dans chaque imagedans chaque image
![Page 70: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/70.jpg)
iMAGIS-GRAVIR / IMAG
• Corrélation porte sur la forme, les maxima
• Comment mesurer cette corrélation ?
• Introduction d’une fonction d’énergie:
Edist = Eextrema + Eshape
• Corrélation porte sur la forme, les maxima
• Comment mesurer cette corrélation ?
• Introduction d’une fonction d’énergie:
Edist = Eextrema + Eshape
Etude de corrélationEtude de corrélation
Ke x (\x1 – x2\)rKe x (\x1 – x2\)r
![Page 71: Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction](https://reader031.vdocuments.pub/reader031/viewer/2022012914/568150a8550346895dbeb6fd/html5/thumbnails/71.jpg)
iMAGIS-GRAVIR / IMAG
• Corrélation porte sur la forme, les maxima
• Comment mesurer cette corrélation ?
• Introduction d’une fonction d’énergie:
Edist = Eextrema + Eshape
• Corrélation porte sur la forme, les maxima
• Comment mesurer cette corrélation ?
• Introduction d’une fonction d’énergie:
Edist = Eextrema + Eshape
Etude de corrélationEtude de corrélation
| fm(x) – ft(x) | dx| fm(x) – ft(x) | dx