image based rendering
DESCRIPTION
Image Based Rendering. Daniele Marini. Image based rendering. ricavare informazioni per il rendering dalle immagini acquisite profondita’ colore BRDF luminanza. Ricavare la geometria. Ricostruzione della profondità da immagini multiple - PowerPoint PPT PresentationTRANSCRIPT
1
Image Based Rendering
Daniele Marini
2
Image based rendering
• ricavare informazioni per il rendering dalle immagini acquisite– profondita’– colore– BRDF– luminanza
3
Ricavare la geometria
• Ricostruzione della profondità da immagini multiple
• problema della inversione della proiezione prospettica
4
la “costruzione legittima” L.B. Alberti
5
6
Come ricavare la forma?
• Shape from shading
• Shape from motion
7
Shape from stereo
8
x
zxs
'
f
x bz
xd
'
f
z bf
x' s x'd
b= 65 mm distanza interpupillare
9
Ricerca dei punti corrispondenti
10
Metodi basati su immagini
• Ricostruzione “a quinte”
• Mapping di panoramiche su forme regolari (cilindri, calotte sferiche)
11
Ricostruzione a “quinte”
• Ricavando z per diversi piani di profondità permette di organizzare la scena come “quinte” teatrali
• Ogni immagine viene mappata come texture su una superficie a profondità z
• Si può esplorare la scena con sistemi di visualizzazione 3D
12
Panoramiche: QuickTimeVR
• Costruzione dello “stitch”– Stima dell’obiettivo– Correzione prospettica– Collimazione fotogrammi
• Mapping dello stitch
• Costruzione sequenza video
• Dislay con interpolazione
13
14
Un esempio
15
Stima obiettivo
16
Collimazione immagini
17
18
Mapping dello stitch
19
Tiling: fotogrammi chiave e traiettorie di navigazione
20
Tiling e compressione
21
Il risultato
22
Struttura ipertestuale
• Si possono inserire “hot spots” per collegare scenari diversi
• La struttura del meta-filmato:
23
Oggetti
• Si possono creare modelli virtuali di oggetti
• Riprese multiple di un oggetto, organizzate in un array 2D
• Il mapping idealmente è su una struttura sferica
24
25
Scene e link
• Panorami e oggetti si possono organizzare in scene
• Il passaggio a scene, panorami e oggetti diversi avviene con hot spots
• Sono disponibili links URL
26
Costruzione dello “stitch”
• Determinare lo scarto tra due immagini:– Basato su caratteristiche delle immagini– Correlazione di fase
27
Correlazione di fase
• La correlazione di fase è basata sulla valutazione della fase del Cross Power Spectrum (CPS) delle due immagini.
• Se una delle due immagini è una replica sfasata dell’altra, cioè se:
f2(x,y) = f1(x+x0,y+y0)• la fase del Cross Power Spectrum delle due
immagini f1 e f2 è data dall’equazione:
28
Correlazione di fase (cont.)
• F è la trasformata di Fourier dell’immagine f e F* è la sua coniugata complessa.
• La trasformata di Fourier inversa dell’equazione è solitamente un impulso di coordinate (x0,y0) la cui posizione indica lo scostamento cercato.
F1( ,)F2*( ,)
F1( ,)F2*( ,)
e j2 (x0y0 )
29
Correlazione di fase (cont.)
30
Ricostruzione con luce coerente
• Esame del profilo della forma delineato con un fascio laser
31
La faccia nascosta della luna
• Ricostruzione da proiezioni multiple (TAC, NMR)
32
Proiezioni multiple
33
Trasformata di Radon
R (x') f (x 'cos y 'sin ,x'sin y 'cos )dy '
• x’,y’ coordinate del punto trasformato per rotazione
• R viene rilevato più volte al variare dell’angolo
• l’inversione dell’equazione produce f(x,y)
34
HDRI e Image-Based lighting• Uso di immagini ad alta dinamica di un
ambiente per illuminare oggetti virtuali.
35
HDRI• Bisogna acquisire un’immagine ad alta
dinamica di un ambiente.
• Varie soluzioni:Mirrored Ball Fisheye lens
Panoramic camera Stitching
36
Mirrored ball
37
Fisheye lens
38
Image-Based Lighting (1\4)
• L’immagine ad alta dinamica fornisce i valori di luminanza reali di tutti i 360° della scena.
• Utilizzandola come environment riesco a renderizzare oggetti virtuali che sembrano inseriti nella scena reale
39
Image-Based Lighting (2\4)
40
Image-Based Lighting (3\4)
41
Image-Based Lighting (4\4)