modelado 3d de tumores cerebrales empleando … · 2018-10-12 · introducci on adquisici on de...

IntroduccionAdquisicion de Informacion 3D usando ENSModelado 3D Empleando Redes Neuronales

Modelado 3D de tumores cerebrales: SOM y NGNConclusiones y Trabajo Doctoral

Modelado 3D de tumores cerebrales empleandoendoneurosonografıa y redes neuronales artificiales

Andres Felipe Serna–Morales

Universidad Nacional de Colombia, Sede Manizales.-

Centro de Investigacion y Estudios Avanzados del IPNCINVESTAV, Unidad Guadalajara, Mexico

Enero de 2011

A.F. Serna–Morales Modelado 3D empleando ENS y Redes Neuronales



1 IntroduccionDiagrama de bloquesProduccion Cientıfica

2 Adquisicion de Informacion 3D usando ENSEndoneurosonografıa (ENS)Procesamiento de Imagenes EndoscopicasProcesamiento de Imagenes de UltrasonidoNubes de puntos 3D

3 Modelado 3D Empleando Redes NeuronalesEstado del Arte: Modelado 3DRed Neuronal Multicapa (MLFFNN)Mapa Auto-organizado (SOM)Red Neuronal tipo Gas (NGN)

4 Modelado 3D de tumores cerebrales: SOM y NGN

5 Conclusiones y Trabajo Doctoral




Diagrama de bloquesProduccion Cientıfica

Diagrama de bloques

Figura: Modelado 3D empleando ENS y NNA.F. Serna–Morales Modelado 3D empleando ENS y Redes Neuronales



Diagrama de bloquesProduccion Cientıfica

Produccion Cientıfica

A. F. Serna–Morales, F. Prieto, E. Bayro–Corrochano. “Spatio-TemporalImage Tracking Based on Optical Flow and Clustering: AnEndoneurosonographic Application”. In proceedings of MICAI 2010:Lecture Notes on Artificial Intelligence (LNAI) 6437, pp. 290-300, 2010.Springer-Verlag. Berlin Heidelberg.

A. F. Serna–Morales, F. Prieto, E. Bayro–Corrochano. “Acquisition ofThree-Dimensional Information of Brain Structures UsingEndoneurosonography”. Submited to International Journal: ElsevierExpert Systems With Applicactions (ESWA). November 15, 2010.

A. F. Serna–Morales, F. Prieto, E. Bayro–Corrochano, Edgar N. Sanchez.“3D Modeling of Virtualized Reality Objects Using Neural Computing”.Submited to International Joint Conference on Neural Networks IJCNN2011. February 10, 2011.




Endoneurosonografıa (ENS)Procesamiento de Imagenes EndoscopicasProcesamiento de Imagenes de UltrasonidoNubes de puntos 3D

Endoneurosonografıa (ENS)

Las imagenes endoscopicas seutilizan para hacer unareconstruccion estereo delescenario, mientras que lasregiones de interes sonsegmentadas en las imagenes deultrasonido

R. Machucho-Cadena, et al. Joint FreehandUltrasound and Endoscopic Reconstruction ofBrain Tumors. In Progress in Pattern Recognition,Image Analysis and Applications Lecture Notes inComputer Science, 2008, Volume 5197/2008,691-698





Imagenes Endoneurosonograficas

(a) Left Camera (b) Right Camera

(c) US Image





Metodologıa de Segmentacion





Flujo Optico

En este trabajo, el algoritmo de Horn & Shunck1 fue utilizadopara computar el flujo optico. Este algoritmo consiste enhallar la solucion de la siguiente ecuacion diferencial parcial.

∂L

∂x

∂x

∂t+∂L

∂y

∂y

∂t+

dL

dt= 0 (1)

(d) Luminance (e) Optical Flow (f) Segmentation

1Horn, B.K.P., Schunck, B.G. Determining optical flow. Artificial Intelligence 17, 185-203 (1981)





Determinacion del eje de la sonda de ultrasonido

Dado X = (x1, x2)′, es posible construir la combinacion linealY que maximice la varianza2:

y1 = a′1X = a11x1 + a12x2

y2 = a′2X = a21x1 + a22x2

Var(yi ) = a′i∑

ai ; i = 1, 2(2)

(g) Left camera (h) Right camera

2Haibo, G., Wenxue, H., Jianxin, C., Yonghong, X. Optimization of principal component analysis in feature

extraction. In: International Conference on Mechatronics and Automation, ICMA 2007, pp. 3128-3132 (5-8, 2007)





Procesamiento de Imagenes de Ultrasonido

Las imagenes de ultrasonido fueron adquiridas mediante unequipo medico Aloka SSD-5000 con un transductor radial queopera a 10 MHz.

(i) Imagen de Ultrasonido (j) Imagen Segmentada

Figura: Resultado de la segmentacion imagenes US





Ubicacion de las regiones segmentadas en el espacio 3D

Ttumor→US → TUS→Endoscope → TEndoscope→world (3)





Nube de puntos 3D y envolvente convexa - Tumor 1

Figura: Secuencia de 790 frames ENS





Nube de puntos 3D y envolvente convexa- Tumor 2

Figura: Secuencia de 164 frames ENS




Estado del Arte: Modelado 3DRed Neuronal Multicapa (MLFFNN)Mapa Auto-organizado (SOM)Red Neuronal tipo Gas (NGN)

Diagrama de bloques

Figura: Modelado 3D empleando ENS y NNA.F. Serna–Morales Modelado 3D empleando ENS y Redes Neuronales




Estado del Arte: Modelado 3D

Algunos metodos de modelado 3D son:

Metodos basados en polıgonosGeometrıa Solida Constructiva3

Voxelizacion4

Representaciones Implıcitas5

Parches parametricos6

Redes neuronales7

3Cameron et al. Efficient bounds in constructive solid geometry. 2001

4Steinbach et al. 3D Reconstruction of real-world objects using extended voxels. 2000

5Liu et al. Implicit surface reconstruction from 3D scattered points. 2008

6Cohen et al. Ordering and parameterizing scattered 3D data for B-spline surface approximation. 2000

7Cretu et al. Data acquisition and modeling of 3D deformable objects using neural networks. 2009





Modelado 3D empleando Redes Neuronales

Ventajas del modelado 3D empleando Redes Neuronales8:

Ofrecen representaciones continuas, compactas y precisas.No requieren grandes cantidades de memoria.No requieren altos tiempos de renderizacion.Ofrecen representaciones volumetricas o superficiales delobjeto.No se requiere ningun conocimiento a–priori.Potencial para uso en aplicaciones en tiempo real.

Se ha explorado el uso de tres tipos de redes neuronales:

Redes Neuronales Multicapa (MLFFNN), MapasAuto-organizados (SOM), Redes Neuronales tipo Gas (NGN)

8A. M. Cretu,E. Petriu and G. Patry. (2006). Neural network based models of 3D objects for virtualized reality:

a comparative study. IEEE Transactions on Instrumentation and Measurement, 55 , 99–111.





Objetos virtualizados usados en los experimentos

(a) Alca (b) Alfi (c) Banana (d)Bottle

(e) Cam-

pa

(f) Ca-

racol

(g) Cascabel (h)Felino

(i) Head (j) Orange

(k) Face (l) Tumor 1 (m) Tu-

mor 2





Red Neuronal Multicapa (MLFFNN)

Inputnet =[

x2, y2, z2, x , y , z, xy , yz, xz]T

(4)

Outputnet :

> 0, if (x, y, z)in is outside of the object= 0, if (x, y, z)in is on the surface< 0, if (x, y, z)in is inside of the object

(5)





Modelado 3D: Red Neuronal Multicapa (MLFFNN)

(n) Nube original (n) Puntos extra (o) Levenberg–

Marquardt

(p) Filtro de Kal-

man





Modelado 3D: Red Neuronal Multicapa (MLFFNN)

(q) Nube original (r) Puntos extra

(s) Entrenamiento: Levenberg–Marquardt (t) Entrenamiento: Filtro de Kalman





Desempeno de la MLFFNN

Figura: Errores





Desempeno de la MLFFNN

Figura: Epocas





Mapa Auto–organizado (SOM)

Los SOM o Mapas de Kohonen son una de las arquitecturasneuronales no supervisadas mas populares 9.

Un SOM cosiste en un conjunto de neuronas m organizadasde forma regular en una malla. Su actualizacion es:

∆mi = α(t)hci (t) [x−mi ] (6)

hci (t) = exp

(−

d2ci

2σ2t

)(7)

9T. Kohonen, I. Nieminen, and T. Honkela. On the quantization error in SOM vs. VQ: A critical and

systematic study. In Advances in Self-Organizing Maps, volume 5629 of Lecture Notes in Computer Science, pages133-144. Springer Berlin / Heidelberg





Modelado 3D: Mapa Auto-organizado (SOM)

(d) Nube original (e) Modelo SOM (f) SOM sin conexiones





Red Neuronal tipo Gas (NGN)

Una NGN se compone de neuronas, similares a las de unSOM, que se mueven sobre el espacio de entrada durante elaprendizaje. La posicion de la neurona ganadora y la de susvecinos es actualizada durante cada instancia delentrenamiento 10.

En este caso, no existe malla que limite le movimiento de lasneuronas.

∆wi = ε(t) · hλ (ki (x,w)) · (x−wi ) (8)

hλ (ki (x ,w)) = exp

(−ki (x ,w)

λ

)(9)

10T.M. Martinetz, S.G. Berkovich, and K.J. Schulten. ’Neural-Gas’ network for vector quantization and its

application to time-series prediction. IEEE Transactions on Neural Networks, 4(4):558-569, jul. 1993.





Modelado 3D: Red Neuronal tipo Gas (NGN)





Errores de Cuantizacion: SOM y NGN




Modelado 3D de tumores cerebrales: SOM y NGN

Una de las aplicaciones mas interesantes del modelado 3D conredes neuronales puede obtenerse al modelar estructurasbiologicas en constante actualizacion.

Las redes neuronales ofrecen una ventaja interesante en estepunto, pues el procedimiento de modelado puede definirse endos etapas:

1 Entrenamiento fuera de lınea, con el fin de generar un modeloinicial del objeto con un conjunto previo de datos deentrenamiento.

2 Entrenamiento en lınea, con el fin de actualizar la morfologıadel tumor de acuerdo a la nueva informacion disponible.




Modelado 3D de tumores cerebrales: SOM y NGN

(n) 23421 puntos (o) SOM. Error =

6.0414

(p) NGN. Error = 3.8116

(q) 9116 puntos (r) Error = 6.48 (s) NGN. Error = 4.14




Comparacion

SOM y NGN: Superficial. MLFFNN: Volumetrica.

Las NGN presentan el mejor desempeno y el mas alto costo deentrenamiento.

MLFFNN-FK presenta desempeno similar a MLFFNN-LMpero requiere menos epocas de entrenamiento.

Las MLFFNN requieren el menor espacio de almacenamientoen disco.




Conclusiones

Se implemento una metodologıa de adquisicion de informaciontridimensional de tumores cerebrales a partir deendoneurosonografıa.

Se desarrollo una metodologıa de seguimientoespacio–temporal basada en flujo optico y agrupamiento(clustering).

El resultado de la adquisicion es una nube de puntos 3D quedetermina las regiones del espacio que pertenecen a tumorescerebrales.

Se comparo el uso de MLFFNN, SOM y NGN en la tarea demodelado 3D.




Propuesta doctoral

Introducir un brazo robotico para eliminar los erroresproducidos por el sistema de seguimiento visual y lamanipulacion humana.Agregar sensores tactiles que entreguen informacion detextura y elasticidad.Interfaz haptica para retroalimentacion en tiempo real.




Propuesta doctoral

Mejorar las reconstrucciones de la escena mediante las nuevastecnologıas de vision estereo.

Mediante el kinect se podrıa hacer una reconstruccion,identificacion y tracking de los objetos y personas presentes enla escena.

Figura: Sensor RGB–D




Contribucion

Realizar un modelo geometrico, de elasticidad y textura de estructurasbiologicas.

Usar redes neuronales recurrentes para estimar la evolucion en el tiempodel objeto.

Aprovechando la experiencia del grupo, el enfoque del modelado puedeser empleando ((Geometric Neural Networks)).

Aplicaciones: Descripcion de organos, deteccion de patologıas, apoyo aintervenciones quirurgicas y trasplantes.




Gracias!


modelado 3d de tumores cerebrales empleando … · 2018-10-12 · introducci on adquisici on de...

Documents