Estimating motion in image sequences

Christoph Stiller, Janusz Konrad

IEEE signal processing magazine, 16(4),pp.70-91

Estructura

• Modelos– Representación del movimiento– Regiones de soporte

• Interdependencia entre movimiento y datos

• Criterios de estimación

• Métodos de búsqueda

Representación del movimiento

Posición 3D

Desplazamiento 3D

Desplazamiento 2D

Representación del movimiento

Movimiento afín

Planar patch

Ortographic projection

Movimiento afín 2D del planar patch bajo Proyección ortográfica

Representacion del movimiento

• La más utilizada en compresión es la traslacional, en visión se utilizan una variedad

• Modelos de segundo orden

Regiones de soporte

• Calidad de la aproximación

Regiones de soporte

• Global: la más economica y restringida• Densa: movimiento de los pixels individuales

• Regiones– Bloques rectangulares

– Regiones segmentadas en la imagen

• Modelos jerarquicos

Modelos jerárquicos de soporte

Interdependencia entre movimientos y datos

• Restricción de intensidad constante a lo la trayectoria

Interdependencia

• Extensión a imágenes en color

Interdependencias

• Restricciones de constancia del gradiente espacial en la dirección de movimiento

Criterios de estimación

• La estimación del movimiento se basa en la minimización de un cierto criterio– Diferencias de desplazamiento entre tramas

DFD– Criterios en el dominio frecuencial– Regularización– Criterios bayesianos

DFD

• La diferencia de trama desplazada surge de la restricción de intensidad constante

• Puede aplicarse a nivel de la imagen, de bloque o de pixel

Predicción compensada en movimiento

DFD variantes

Lorentziano

Criterios en el dominio frecuencial

• En el caso de movimiento espacial constante se puede recuperar el desplazamiento a partir de la fase

Dominio frecuencial

• En el caso de velocidad constante se extiende el análisis a 3D frecuencial

Regularización

• Penalización de suavización del flujo optico

Criterio bayesiano

MAP

Criterio bayesiano

• Observaciones o probabilidades condicionadas

Criterio bayesiano

• Distribuciones a priori: favorecen la continuidad del flujo detectado

Criterio bayesiano

• Campos markovianos para modelar los apriori

Distribución de Gibbs

Propiedad markoviana

Criterio bayesiano

• Restricció de suavidad

• Discontinuidades para evitar sobre suavización

Estrategias de búsqueda

• Matching-emparejamiento

• Relajación

• Descenso de gradiente

• Campo medio

• Tecnicas jerarquicas

Emparejamiento

• Es la aproximación más frecuente y más simple

• Tiene aplicación en la codificaciónde video

• Consiste en evaluar el criterio para un número de candidatos y escoger el mejor

• Pude jerarquizarse la búsqueda

Relajación

• Consiste en variar la solución elemento a elemento

• Determinista: Iterated conditional modes

• Aleatorio: – algoritmo de metrópolis,– Gibss sampler– Simulated annealing

Relajación

•

relajación

• Metropolis

• Gibss sample

• Simulated annealing: Boltzmann distrib.

Tecnicas jerarquicas

• Muestreo a distintos niveles, criterios a distintos niveles, suavización de la transición entre niveles