![Page 1: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/1.jpg)
1/32
Filtrado Espacial de Audio para Robots
Dr. Caleb Rascón
![Page 2: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/2.jpg)
2/32
¿Para qué?
![Page 3: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/3.jpg)
3/32
Motivación
● Audio está en todo nuestro alrededor.● El límite de rango del que se puede recibir
una señal de audio es alto:– 360 grados ambos vertical y horizontalmente.
● Comparado a:– Visión: es ~ 170 grados horizontalmente y ~ 90
grados verticalmente.
– Olfato: rango comparable, pero sin dirección.
– Tacto: requiere movimiento del sensor.
![Page 4: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/4.jpg)
4/32
Motivación
● Hay mucha información que puede ser extraída de una señal de audio:– Dirección y distancia de una fuente de sonido
– Reconocimiento de clase de fuente de sonido
– Reconocimiento del habla
– Tamaño del entorno
– Materiales de paredes
![Page 5: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/5.jpg)
5/32
Motivación → Desafío
● Todo esa información de un arreglo de datos de una dimensión.
● Si tenemos varios micrófonos, podemos tener varios arreglos que analizar.
● ... en línea/tiempo real.
![Page 6: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/6.jpg)
6/32
Motivación → Audición Robótica
Video de HARK
![Page 7: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/7.jpg)
7/32
Audición Robótica
● Localización● Separación● Clasificación
de fuentes sonoras.
![Page 8: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/8.jpg)
8/32
Audición Robótica
● Localización● Separación● Clasificación
de fuentes sonoras.
![Page 9: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/9.jpg)
9/32
Separación de Fuentes
● Muchas metodologías.● La más utilizada en robots es...
![Page 10: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/10.jpg)
10/32
Filtrado Espacial
![Page 11: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/11.jpg)
11/32
Filtrado Espacial
● También conocido como Beamforming.● Asume que ya conocemos la dirección de la
fuente de interés.● Tiene como objetivo separar los datos
auditivos de una dirección de interés del resto del ambiente.
![Page 12: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/12.jpg)
12/32
Dirección de Interés(DOA)
x
z
y
(x,y,z)
z
y
x
yd
![Page 13: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/13.jpg)
13/32
Dirección de Interés(DOA)
x
z
y
(x,y,z)
z
y
x
yd
![Page 14: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/14.jpg)
14/32
Resumen del Taller
Exponer al alumno a diversas formas de realizar filtrado espacial en línea, así como las
herramientas necesarias para llevarlo a cabo.
![Page 15: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/15.jpg)
15/32
Suposición del Taller
● Señales y sistemas.– Transformada rápida de Fourier (FFT)
● Experiencia en programar en C/C++● ROS
![Page 16: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/16.jpg)
16/32
Comencemos sencillo...
¿Qué es una señal digital de audio?
![Page 17: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/17.jpg)
17/32
Señales de Audio
Tiempo
Ene
rgí a
![Page 18: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/18.jpg)
18/32
0.1 0.0 0.2 0.4 0.7 1.1 1.0 0.8 0.6 0.6 0.3 0.2 0.1 0.0 0.0 0.2 0.5 0.4
Señal de Audio
Arreglo de valores, en el que cada celda es un momento en el tiempo, y el valor de la celda es el valor de energía.
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
![Page 19: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/19.jpg)
19/32
Resumen del Taller
Exponer al alumno a diversas formas de realizar filtrado espacial en línea, así como las
herramientas necesarias para llevarlo a cabo.
![Page 20: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/20.jpg)
20/32
“En línea” != “En tiempo real”
![Page 21: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/21.jpg)
21/32
“En línea” ~= “En tiempo real”
![Page 22: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/22.jpg)
22/32
En Línea
● Lo contrario a “fuera de línea”.● El procesamiento se lleva a cabo durante
la captura, no después.
![Page 23: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/23.jpg)
23/32
En Tiempo Real
● Implica “en línea”.● Realmente no hay una definición definitiva.
– Difiere dependiendo del área de aplicación.
● Para propósitos de este curso:– “Tan rápido como un humano habla por un
micrófono y se escucha a si mismo por una bocina”.
![Page 24: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/24.jpg)
24/32
Independientemente...
● Nos haremos muy buenos amigos de una biblioteca de procesamiento de señales de audio llamada:– JACK Audio Connection Kit
● Su documentación presume hacer procesamiento de audio en tiempo real, pero lo que nos interesa es que lo hace en línea.
● Pero, tiene otras facilidades:
![Page 25: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/25.jpg)
25/32
JACK
● Otorga la facilidad de crear agentes de JACK que se pueden conectar al servidor de JACK, el cual, a su vez, está conectado a dispositivos de audio (bocinas para salida, micrófonos para entrada, etc.).
![Page 26: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/26.jpg)
26/32
JACK
![Page 27: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/27.jpg)
27/32
JACK
● Cada agente se comunica con JACK por medio de escribir y/o leer valores de energía en arreglos de datos.
● Dichos arreglos representan ventanas de audio.– También conocidos como “periodos”.
![Page 28: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/28.jpg)
28/32
0.1 0.0 0.2 0.4 0.7 1.1 1.0 0.8 0.6 0.6 0.3 0.2 0.1 0.0 0.0 0.2 0.5 0.4
En Línea → JACK
0 1 2 3 4 5 0 1 2 3 4 5 0 1 2 3 4 5
Ventana 0 Ventana 1 Ventana 2
Ventanas de tamaño: 6
![Page 29: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/29.jpg)
29/32
JACK
● De esta manera, mientras escribamos/leamos adecuadamente dichos arreglos de datos, JACK se encarga de entregar los datos a tiempo ya sea a:– Los dispositivos
– Otros agentes
![Page 30: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/30.jpg)
30/32
Pero...
Nos estamos adelantando.
![Page 32: Filtrado Espacial de Audio para Robots Dr. Caleb Rascón](https://reader036.vdocuments.pub/reader036/viewer/2022073110/62e535e24285d8658868332e/html5/thumbnails/32.jpg)
32/32
Información de Contacto
● Mi oficina: IIMAS, 4o piso, Oficina 403.
● Mi correo:– [email protected]