shading” - perception...
TRANSCRIPT
![Page 1: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/1.jpg)
1
Méthode de “Fast Marching” générique pour “Shape From
Shading”
E. Prados & S. Soatto
RFIA 2006janvier 2006, Tours
![Page 2: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/2.jpg)
2
Hypothèses: Réflectance Lambertienne, Éclairage:
source ponctuelle unique, disposée à l'infinie ou au centre optique, prise en compte ou non de l'atténuation de
la lumière due à la distance, Caméra orthographique ou perspective.
Équation générique explicite pour le problème du Shape From Shading
![Page 3: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/3.jpg)
3
Équation générique explicite pour le problème du Shape From Shading
cas particuliers de l'équation aux dérivées partielles:
F(u)
[Prados:PhD'04]
+
![Page 4: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/4.jpg)
4
Équation générique explicite pour le problème du Shape From Shading
cas particuliers de l'équation aux dérivées partielles:
Caractéristiques particulières: • Dépendance en u (pas seulement en ∇u).• Solution pas nécessairement croissante le long des “courbes caractéritiques” ...
“Fast Marching” actuel non appliquable.
F(u)+
![Page 5: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/5.jpg)
5
Iterative method FMMméthode iterative
Méthode de “Fast Marching” (FMM)
• Résolution numérique d'EDP,• Méthode à “passage unique” ≠ méthodes itératives:
– Absence de seuil (critère d'arrêt) – Nombre de mises à jour optimal → coût CPU faible– Propagation de front.
![Page 6: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/6.jpg)
6
Iterative method FMMméthode iterative
Méthode de “Fast Marching” (FMM)
• Résolution numérique d'EDP,• Méthode à “passage unique” ≠ méthodes itératives:
– Absence de seuil (critère d'arrêt) – Nombre de mises à jour optimal → coût CPU faible– Propagation de front.
![Page 7: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/7.jpg)
7
Iterative method FMMméthode iterative
Méthode de “Fast Marching” (FMM)
• Résolution numérique d'EDP,• Méthode à “passage unique” ≠ méthodes itératives:
– Absence de seuil (critère d'arrêt) – Nombre de mises à jour optimal → coût CPU faible– Propagation de front.
![Page 8: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/8.jpg)
8
Iterative method FMMméthode iterative
Méthode de “Fast Marching” (FMM)
• Résolution numérique d'EDP,• Méthode à “passage unique” ≠ méthodes itératives:
– Absence de seuil (critère d'arrêt) – Nombre de mises à jour optimal → coût CPU faible– Propagation de front.
![Page 9: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/9.jpg)
9
Iterative method FMM
Méthode de “Fast Marching” (FMM)
• Résolution numérique d'EDP,• Méthode à “passage unique” ≠ méthodes itératives:
– Absence de seuil (critère d'arrêt) – Nombre de mises à jour optimal → coût CPU faible– Propagation de front.
• Applications nombreuses,
– Planification de trajectoires [Kimmel-Sethian:01]
– Optique géométrique [Wenwang:03]
– Traitement d'images et vision par ordinateur [L.Cohen:05]
– Liste exhautive [Sethian:99].
méthode iterative
![Page 10: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/10.jpg)
10
(x,y-1)
(x+1,y)(x,y)(x-1,y)
(x,y+1)
Méthode de “Fast Marching” (FMM)
• Méthode basique [Sethian:99, Dijkstra:59]|∇u|= g(x), (équation eikonale)
Voisinage à 4 pixels (schéma).
• Récente extension: OUM [Sethian-Vladimirsky:03]sup
a {– f(x,a) a.∇u -1} = 0, (2)
Voisinage très large (taille dépendant de l'anisotropie)
• Notre extension (nouvel algorithme):
λ F(u) + H(x,∇u) = 0, (3)
où F est strictement croissante et H est convexe
Voisinage à 4 pixels (schéma).
![Page 11: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/11.jpg)
11
Contributions et extensions aux méthodes de “Fast Marching”
1. Un nouveau schéma numérique…
2. Une nouvelle causalité…
![Page 12: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/12.jpg)
12
Nouveau schéma numérique• Étape préliminaire:
Transformée Legendre équation sous la forme d'un sup.
λ F(u) + H(x,∇u) = 0
λ F(u) + sup { – f(x,a).∇u(x) - l(x,a) } = 0
Fonction coût
![Page 13: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/13.jpg)
13
Nouveau schéma numérique
Approximation
Choix du simplexe, i.e. des si tel que le schéma soit
croissant en t (représente u)
si = si(x,a) := sign fi(x,a) ,
Choix = simplexe qui contient la trajectoire optimale.
λ F(t) +
t u(x)si ∈ {+1, 1}
![Page 14: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/14.jpg)
14
Nouveau schéma numérique
• Schéma “consistent” (cohérent) et monotone,
• Utilisant seulement le voisinage direct SFS, dimension = 2 voisinage 4 points,
• Dépendance en u.
![Page 15: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/15.jpg)
15
Nouvelle causalité et réinterpretation
Point clé : Distinction entre
• la causalité : propagation théorique de l'information
solution calculée = solution de viscosité
• l'intégration simultanée
stabilité numérique.
![Page 16: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/16.jpg)
16
Nouvelle causalité et réinterpretation
1 - Causalité:
• L' information se propage le long de courbes spécifiques: les trajectories optimales:
• Solution calculable par une intégration directe le long de ces courbes:
• Intégration courbes après courbes instabilités numériques Idée: intégration simultanée ...
![Page 17: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/17.jpg)
17
2 - Intégration simultanée: garantit la stabilité numérique
![Page 18: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/18.jpg)
18
2 - Intégration simultanée: garantit la stabilité numérique
Propagation de fronts ;
2 - Intégration simultanée: garantit la stabilité numérique
Propagation de fronts ;
![Page 19: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/19.jpg)
19
2 - Intégration simultanée: garantit la stabilité numérique
![Page 20: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/20.jpg)
20
2 - Intégration simultanée: garantit la stabilité numérique
Propagation de fronts ;
2 - Intégration simultanée: garantit la stabilité numérique
Comment choisir le front de propagation ? Plusieurs suivent les trajectoires optimales...
![Page 21: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/21.jpg)
21
2 - Intégration simultanée: garantit la stabilité numérique
- Plusieurs suivent les trajectoires optimales...Comment choisir le front de propagation ?
- Comment définir le front de propagation ?
![Page 22: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/22.jpg)
22
2 - Intégration simultanée: garantit la stabilité numérique
- Plusieurs suivent les trajectoires optimales...Comment choisir le front de propagation ?
- Comment définir le front de propagation ?
idée: introduction d'un coût C tel que les lignes de niveaux de C correspondent au front propagé.
![Page 23: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/23.jpg)
23
Level sets of u
Optimal trajectory
→ Méthodes précédentes de FMM
C = u ( u is the solution)
incohérent avec la causalité lorsque la solution n'est pas croissante le long des trajectoires optimales !
→ Nous montrons comment définir un coût approprié C : - qui est toujours cohérent avec les trajectoires optimales, - qui permet de définir et de trouver simplement et efficacement l'ordre de mise à jour...
→ Coût C basé sur la notion de sous solutions: ψ …
![Page 24: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/24.jpg)
24
Méthode de “Fast Marching”
Calcul des valeurs de mise à jour nouveau schéma
Domaine où la solution est connue
Choix du pixel causalité
![Page 25: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/25.jpg)
25
Algorithme F = points éloignésA = points acceptés
C = points considérés
![Page 26: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/26.jpg)
26
Exemple concrèt en SFS: Équation de Rouy/Tourin
Modèle associé:• Réflectance Lambertienne et homogène,• Source de lumière unique, éloignée et oblique• orthographic projection.
EDP:
I(x) = image.
fonction coût associée:
de signe arbitraire…
Solutions non croissantes le long des trajectoires optimales,Les méthodes précédentes ne s'appliquent pas !
Sous solution:
![Page 27: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/27.jpg)
27
Focus sur l'amélioration due à la nouvelle causalité
Image originale
groundtruth
Reconstruction avec lanouvelle causalité
Vue oblique
Vue de profileVue de profile
Vue oblique
Solution calculée
groundtruth
Reconstruction avec la causalité classique
![Page 28: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/28.jpg)
28
SFS avec atténuation de éclairage / distance
Modélisation associée:• Réflectance Lambertienne et homogène,• Unique source de lumière placée au centre optique, • Projection en perspective .
EDP résultante: I(x) = image et f = focale.
et
Méthodes de “Fast Marching” précédentes ne s'appliquent pas...
image reconstruction
![Page 29: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/29.jpg)
29
Conclusion
1) Extension des méthodes de Fast Marching à une large classe
EDP:
- dépendant de u,
- solutions non croissantes le long des trajectoires optimales,
λ F(u) + H(x,∇u) = 0
2) Nouveau schéma numérique + nouvelle interprétation
+ nouvelle causalité
3) Application de la méthode au SFS: algorithme générique.
![Page 30: Shading” - Perception Teamperception.inrialpes.fr/Publications/2006/PS06/prados-soatto-francais.pdfMéthode de “Fast Marching” (FMM) • Résolution numérique d'EDP, • Méthode](https://reader033.vdocuments.pub/reader033/viewer/2022060506/5f1f15dfb4f5c36a25562d63/html5/thumbnails/30.jpg)
30
References
[Kimmel-Sethian:01] R. Kimmel and J.A. Sethian. Optimal algorithm for shape from shading and path planning. JMIV, 14(2):237–244, May 2001.
[L.Cohen:05] L. Cohen. Minimal paths and fast marching methods for image analysis. In Mathematical Models in Computer Vision: The Handbook, Springer, 2005.
[Sethian:99] J.A. Sethian. Level Set Methods and Fast Marching Methods. Cambridge University Press,1999.
[Sethian-Vladimirsky:03] J.A. Sethian and A. Vladimirsky. Ordered upwind methods for Hamilton–Jacobi equations:Theory and algorithms. SIAM J. on Num. Ana. 41(1), 2003
[Prados:04] E. Prados. Application of the theory of the viscosity solutions to the Shape From Shading problem. PhD thesis, 2004.
References