presentazione sviluppo e confronto di tecniche di stima della traiettoria di sensori 3d
TRANSCRIPT
Sviluppo e confronto di tecniche
di stima della traiettoriadi sensori 3D
LaureandoAndrea Bidinost
RelatoreProf. Felice Andrea Pellegrino
Tesi di Laurea Magistrale in Ingegneria Informatica
Università degli Studi di Trieste
Stimare la traiettoria imposta ad un sensore 3D
Obiettivo del progetto
Matrici di rototraslazione
r0,0 r0,1 r0,2 tx
r1,0 r1,1 r1,2 ty
r2,0 r2,1 r2,2 tz
r0,0 r0,1 r0,2 tx
r1,0 r1,1 r1,2 ty
r2,0 r2,1 r2,2 tz
r0,0 r0,1 r0,2 tx
r1,0 r1,1 r1,2 ty
r2,0 r2,1 r2,2 tz
Algoritmo di allineamento
Sequenza di
Traiettoria imposta
Robotica mobile (odometria)
Robotica industriale (pilotaggio di un braccio meccanico)
Ricostruzione virtuale
Casi d’utilizzo
Campo di ricerca (robotica): Simultaneous Localization And Mapping (SLAM)
Soluzione più diffusa: stereovisione
Approccio recente: acquisizione 3D (luce strutturata, Time of Flight)
Nel progetto: Iterative Closest Point (ICP), InverseDepth-ICP
Stato dell’arte
Due nuovi approcci per l’allineamento di una coppia di immagini: «Frame Based» e «Color Fusion»
Ambiente Matlab
Cosa ho realizzato
Algoritmi
Modello dei dati
Algoritmi
Immagine Infrarossi
Immagine di
disparità
Immagine di
profondità
Nuvola di punti
Input(coppie)
Algoritmo di riferimento
Input: coppia di nuvole di punti (origine e destinazione)
Iterazione di 5 fasi:
1. Selezione
2. Accoppiamento
3. Pesatura
4. Rigetto
5. Minimizzazione
Output: matrice di rototraslazione
Iterative Closest Point (ICP)
Algoritmi
Minimizza un funzionale d’errore che ha minimo assoluto nella rototraslazione che allinea perfettamente due nuvole di punti.
Selezione Estrazione di punti da nuvola di origine (casuale, selettivo)
AccoppiamentoAssociazione di ogni punto estratto con un punto della nuvola di destinazione (più vicino, criteri locali)
Pesatura Peso del contributo di un accoppiamento alla stima (costante, distanza, adattativa)
Rigetto esclusione di coppie (percentuale, soglia sul peso)
MinimizzazioneMinimizzazione del funzionale d’errore attraverso minimi quadrati (punto-punto, punto-piano)
Arresto Numero massimo di iterazioni o diminuzione dell’errore al di sotto di una certa tolleranza
Algoritmi
Dati due punti accoppiati
Generica rotazione (3 DOF)
Generica Traslazione (3 DOF)
Sistema (non lineare)
Nota: minimizzazione
Algoritmi
Spazio di profondità inversa:◦ errore di misura isometrico (altrimenti funzionale alla distanza dal
sensore)◦ si costruisce dall’immagine di disparità attraverso coefficienti di
calibrazione
Approssimazione a piccole rotazioni:
Stesse fasi e Output di ICP, trasformazione dell’Input in spazio di profondità inversa
Sfruttamento della linearità del nuovo sistema da minimizzare
Implementazione articolo «Robust Egomotion Estimation using ICP in Inverse Depth Space», D. Luis 2012
InverseDepth-ICP
Algoritmi
Idea: sfruttare l’informazione sulla posizione reciproca dei punti presente nell’immagine acquisita (disparità o profondità)
Nuovo modello dei dati: 3D-frame
Frame Based ICP
Algoritmi
Ricerca dei punti da accoppiare all’interno
una finestra
Sfruttare i punti vicini per caratterizzare la
regione locale da ricercare nell’immagine di
destinazione per l’accoppiamento
Input: coppie di frame di disparità (o
profondità)
Stesse fasi di ICP, ipotesi di piccole rotazioni
Output: matrice di rototraslazione
Algoritmi
Idea: sfruttare l’informazione sul colore dei punti data dall’acquisizione a colori per ottenere un accoppiamentovalido al primo tentativo
Input: coppie di immagini di profondità (o disparità) e relative acquisizioni a colori
Non è richiesta nessuna iterazione 3 Fasi:
1. SIFT e accoppiamento2. Pesatura e Rigetto3. Stima dei coefficienti rototraslazionali
Output: matrice di rototraslazione
Color Fusion
Algoritmi
Algoritmo per la caratterizzazione di punti notevoli in un’immagine a colori con invarianza a trasformazioni di scala, rotazione e luminosità. Estrae punti notevoli da immagini a colori Associa ad ogni punto notevole un vettore
di descrittori invarianti alle trasformazioni dell’immagine
Color Fusion - SIFT
Algoritmi
Implementazione utilizzata: VLFeat (Vedaldi, http://www.vlfeat.org/overview/sift.html)
Metodo per l’accoppiamento già disponibile
Color Fusion – SIFT (2)
Algoritmi
Risultati
Coppia consecutiva di acquisizioni (origine, destinazione) Nuvole di punti
Stima rototraslazione Allineamento
Accoppiamento (, ) Per ogni coppia, distanza euclidea Errore (mm): distanza media
Errore di allineamento
Risultati
Sequenza comune di acquisizioni
Valutazione errore di allineamento tra coppie di acquisizioni consecutive
Algoritmi confrontati◦ ICP (spazio euclideo, inverse depth)◦ Inverse depth ICP◦ Frame Based (spazio euclideo, inverse depth)◦ Color Fusion (spazio euclideo, inverse depth)
Metodo
Risultati
Distribuzione cumulata: numero di allineamenti affetti da un errore minore di…
Approccio standard: ICP spazio euclideo
Base di confronto
Errore (mm)
%
18
Risultati
Risultati notevoli
Errore (mm)5.8
ICP (Inverse Depth)
Risultati
%
Fame Based (Inverse Depth)
Errore (mm)5.4 7.3
Risultati
%
Color Fusion (Inverse Depth)
Risultati
9.5 Errore (mm)
%
Allocazione di memoria◦ Unità minima di allocazione: punto 3D
◦ Unità richieste (numero di punti da allocare)
◦ Landau:
◦ Metodi non più onerosi di ICP, Color Fusion più svantaggioso
Complessità computazionale
Risultati
Numero di operazioni (in funzione di)◦ Numero di pixel delle immagini ()◦ Numero di punti sottocampionati ()◦ Parametri di configurazione ()
Complessità computazionale
Risultati
Considerazioni sul numero di operazioni:
◦ Complessità sostanzialmente paragonabile per metodi su ICP (minimi quadrati, asintotico)
◦ Color Fusion metodo più oneroso per SIFT (un ordine di grandezza, asintotico)
◦ Frame Based approccio più leggero
Risultati
Conclusioni
Risultati
Utilizzo dello spazio di profondità inversa riduce l’errore di allineamento ma richiede conversione
Ottimi risultati dall’utilizzo dello spazio di profondità inversa con ICP
Confermati risultati dell’articolo implementato tramite InverseDepth-ICP
Sullo stato dell’arte
Conclusioni
Migliori risultati nell’errore di allineamento rispetto ad IC
Complessità computazionale paragonabile ad ICP, Frame Based metodo più vantaggioso
Color Fusion estende la possibilità di stima anche in ambienti sfavorevoli per ICP (piano ortogonale frontale) purchè in presenza di colori diversi
Sui metodi sviluppati
Necessità di test per approfondire le cause degli errori di allineamento
Implementazione più performante (C, GPU) in termini di tempo di esecuzione (real time)
Riscrittura per il calcolo parallelo,
Imposizione della traiettoria stimata ad un dispositivo semovente
Possibili sviluppi
Grazie per l’attenzione
Risultati