“neuro-robótica y guiado visual”dfists.ua.es/controlvisual/ponencias/nrgvupct.pdf ·...
TRANSCRIPT
![Page 1: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/1.jpg)
Universidad Politécnica de CartagenaUniversidad Politécnica de Cartagena
GrupoGrupo de de NeurotecnologíaNeurotecnología, Control y, Control yRobóticaRobótica
““NeuroNeuro--robótica y Guiado robótica y Guiado Visual”Visual”
![Page 2: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/2.jpg)
ObjetivosObjetivosGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Algoritmos de visión idoneos para aplicaciones en neuro-robóticaEmulación sistema oculo-motor humanoElemento de arquitectura multisensorialFunciones:
Seguimiento ocular y panorámicoIntegración visión-tactoControl de alcance y agarreBasados en modelos de aprendizajeControl de pre-shaping del manipulador robot
Plataforma antropomórfica
![Page 3: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/3.jpg)
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Coordinación entre mapas visuo-motores y tactil-motores
Diferentes representaciones espaciales
Sistema de referencias absoluto en coordenadas ciclópeas
Módulo de conmutación de comportamientos
Mapas neuronales de aprendizaje adpatativo
Control de la postura del sistema robot
CARACTERÍSTICASCARACTERÍSTICAS
![Page 4: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/4.jpg)
Plataforma Antropomórfica Plataforma Antropomórfica
Mano RobotCabezal LINCE
Sensores de Visión
SensoresDe Tacto
Neurocontrolador
Brazo Robot
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 5: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/5.jpg)
• El comportamiento del sistema biológicohumano no funciona correctamente basadosólo en información retinal
• El sistema humano genera diferentesrepresentaciones del entorno en función de diferentes canales sensitivos
• La discrepancia entre información visual y táctil en el agarre (p.e) es resulta por un módulo selector de comportamientos
CONSIDERACIONESCONSIDERACIONESGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 6: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/6.jpg)
PROCESO DE ALCANCE Y AGARRE
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 7: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/7.jpg)
Temporalcoordination
Móduloselección de
comportamiento
Móduloselección de
comportamiento
Selecciónvisual de objetivos
REI
Controladordel cabezal
Controladorvisuo-motor
de brazo
Controladortactil-motor
de brazo
Aplicación
Carcaterísticasdel objeto
Controladorvisuo-motor
de mano
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 8: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/8.jpg)
Módulo Selector de Comportamiento Jerarquía
Controladores Senso-Motores Algoritmos VAM
DESCRIPCIÓN DE BLOQUES
4 representaciones para operacioens de alcance
ISROV ISRMV
ISROT ISRMP
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 9: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/9.jpg)
•Establece prioridades entre los canales visualesy tactiles, dependiendo de la tarea específica a realizar
Visión Tacto ComandoNO NO Búsqueda visual de objetivosSI NO Alcance Visual. Entrada visual al
módulo de REINO SI Maniobra de agarre para centrar el
objeto. Compensación de los pesos neuronales
SI SI Agarre o manipulación. Informacióntáctil para el módulo de REI
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
MÓDULO SELECTOR DE COMPORTAMIENTO
![Page 10: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/10.jpg)
Temporalcoordination
Móduloselección de
comportamiento
Móduloselección de
comportamiento
Selecciónvisual de objetivos
REI
Controladordel cabezal
Controladorvisuo-motor
de brazo
Controladortactil-motor
de brazo
Aplicación
Carcaterísticasdel objeto
Controladorvisuo-motor
de mano
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
REACH TO GRASP
![Page 11: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/11.jpg)
Modelos neuronalespara la coordinaciónespacio temporal de Reach To Grasp
Producción de la fuerza de agarre de modo anticipativo
Modulación de la forma de la manodurante el movimiento
Identification – Grip channelpreshapingdigital grip
Localisation – Arm channelpreprogrammed ballistic movement
Tactileguidance
Visualguidance
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 12: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/12.jpg)
EYEPOSITIONING
HEAD
Movement Trigger
HandPreshaping
ArmTransport
LocationPositional cuesExtrinsic propertiesVisuomotor Transformations
IdentificationShape/ Orientation cuesIntrinsic propertiesVisuomotor Transformations
Contact
TemporalCoordination
Visu
al G
uid a
n ce
Ope
nL o
o p
Mechanical Action Sensory Exploration
Tact
ileG
uid a
n ce
Clo
s ed
L oo p
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 13: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/13.jpg)
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 14: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/14.jpg)
Coordenadas Absolutas Base de la cabeza
Representación ciclópea
del punto de fijación
θ: Vergencia
φ: Versión
γ: Elevación
CABEZAL LINCE CABEZAL LINCE [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 15: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/15.jpg)
CABEZAL LINCE CABEZAL LINCE [2][2]
8.5 Kg8.5 KgPesoPeso
360 mm360 mmLLííneanea base base
0.00750.0075°°0.00750.0075°°0.00750.0075°°RepetibilidadRepetibilidad
10N.m10N.m1.6Nm1.6Nm115mNm115mNmTorqueTorque
AC MotorAC MotorDC MotorDC MotorDC MotorDC MotorTiposTipos de de actuadoresactuadores
15001500°°/s/s2240004000°°/s/s2260006000°°/s/s22AceleraciAceleracióónn mmááximaxima
230230°°/s/s400400°°/s/s600600°°/s/sVelocidadVelocidad mmááximaxima
±±180180°°±±3030°°±±3030°°RangoRango mmááximoximo
PanorPanoráámicomicoElevaciElevacióónnVergenciaVergencia
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 16: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/16.jpg)
Identificación del objeto a manipular
Identificación de brazo y mano robot
Posición 3D del objetio
Posición 3D del efector final y de la mano
Orientación del objeto y del manipulador
ALGORITMO
Border-Based Elastical Graph Matching (BBEGM)
SISTEMA DE ADQUISICIÓN VISUAL SISTEMA DE ADQUISICIÓN VISUAL [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 17: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/17.jpg)
Extracción del Modelo
1. Caracterización del nodo (propiedadeslocales)
2. Unión entre nodos(propiedades globales)
1
2
SISTEMA DE ADQUISICIÓN VISUAL [2]SISTEMA DE ADQUISICIÓN VISUAL [2]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
![Page 18: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/18.jpg)
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
SELECCIÓN Y REFUERZOSELECCIÓN Y REFUERZOTTMAXMAX: Número de candidatos: Número de candidatos
–– Se establece una competición entre los nodos Se establece una competición entre los nodos candidatos para cada imagen de entradacandidatos para cada imagen de entrada
–– Se calculan 3 parámetros: Se calculan 3 parámetros: Similitud entre nodosSimilitud entre nodosDirecciónDirecciónLongitudLongitud
–– Mayor índice P para cada par de nodos determina la Mayor índice P para cada par de nodos determina la elección correctaelección correcta
SISTEMA DE ADQUISICIÓN VISUAL [3]SISTEMA DE ADQUISICIÓN VISUAL [3]
![Page 19: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/19.jpg)
Imágenes del modelo
Creation of a graph model
0º 90º45º
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [4]SISTEMA DE ADQUISICIÓN VISUAL [4]
![Page 20: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/20.jpg)
MATCHING
1. Determina los posibles nodoscandidatos en base a propiedades locales
2. Determina la calidad del proceso de identificación en base a propiedades globales
+∆θ
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [5]SISTEMA DE ADQUISICIÓN VISUAL [5]
![Page 21: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/21.jpg)
Modelos: Seis figuras geométricas rotadas en pasos Modelos: Seis figuras geométricas rotadas en pasos de 0 de 0 90 grados. Total: 42 grafos de modelos90 grados. Total: 42 grafos de modelos
Imágenes para Imágenes para testtest: Figuras rotadas en ángulos : Figuras rotadas en ángulos intermedios. Total: 48 imágenes de entradaintermedios. Total: 48 imágenes de entrada
Imágenes (modelos + imágenes de entrada) Imágenes (modelos + imágenes de entrada) reducidas desde 768 x 576 a 128 x 128 reducidas desde 768 x 576 a 128 x 128 pixelspixels(interpolación (interpolación bilinealbilineal))
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [6]SISTEMA DE ADQUISICIÓN VISUAL [6]
![Page 22: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/22.jpg)
IdentificaciónRotación
Posición 3D
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [7]SISTEMA DE ADQUISICIÓN VISUAL [7]
![Page 23: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/23.jpg)
ISROV, MV:
Transformación Retinal-Motora
Representación de objetivoscon respecto al sistema de
referencias absoluto
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [1]Representación de Objetivos [1]
![Page 24: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/24.jpg)
• Proyección de información visual sobre los comandos motoresPPMm (Motor Present Position Map)
Vdr
∆
ISRMP
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [2]Representación de Objetivos [2]
![Page 25: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/25.jpg)
Modelo neuronal para
proyectar información
táctil
Tdr
∆
ISROT
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [3]Representación de Objetivos [3]
![Page 26: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/26.jpg)
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaINSTALACIONES ROBÓTICASINSTALACIONES ROBÓTICAS
![Page 27: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/27.jpg)
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRESULTADOS EXPERIMENTALESRESULTADOS EXPERIMENTALES
![Page 28: “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf · Identificación del objeto a manipular Identificación de brazo y mano robot Posición 3D](https://reader034.vdocuments.pub/reader034/viewer/2022050323/5f7cbb659c537a1b2750962a/html5/thumbnails/28.jpg)
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaCONCLUSIONESCONCLUSIONES
• Integración de modelos visuales en plataformas multisensoriales
• Emulación sistema biológico humano
• Algoritmos de identificación visual en sistemas distribuidos
• Robustez ante cambio de plataformas
• Invariante a escala, cambios de iluminación, y rotaciones
• Control visuo-motor en dispositivos hardware