presenters: guy elazar, eyal shindler supervised by: pavel kislov, inna rivkin המעבדה...
TRANSCRIPT
Presenters: Guy Elazar, Eyal Shindler Supervised By: Pavel Kislov, Inna Rivkin
High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
הטכניון - מכון טכנולוגי לישראל
להנדסת חשמל הפקולטה
Technion - Israel institute of technologydepartment of Electrical Engineering
Final Presentation
Blind Audio Source SeparationUsing Microphone Array Focusing
Winter/Spring Semester 2001
1
Audio Source SeparationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
Projects goal
To separate audio sources mixed in a room, without prior knowledge of the room and signal
characteristic
Implementation
Microphone Array Focusing Algorithm using DSP development tools
Problem DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
“cocktail-party effect”
General DescriptionHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
3
Audio Sources
Input Stage
and A/D
Source Separation Algorithm
Separated Signals
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2
x1 y1
x2 y2
Speaker 1 Speaker 2
m1(t) = s1(t-x1) + s2(t-y1)m2(t) = s1(t-x2) + s2(t-y2)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Ex. 2 Microphones, 2 Sources Microphone 1 Microphone 2
x1 y1
x2 y2
Speaker 1 Speaker 2
r1(t) = m1(t+x1) + m2(t+x2) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)
r2(t) = m1(t+y1) + m2(t+y2) = 2*s2(t) + s1(t-x1+y1) + s1(t-x2+y2)
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)
Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n
SNR gain = n^2 / n = n
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
r1(t) = 2*s1(t) + s2(t-y1+x1) + s2(t-y2+x2)
Generally for n microphones:E(r1) = E(s1) * n^2 + E(s2) * n
SNR gain = n^2 / n = n
Microphones SNR gain (dB) 2 3 4 6 8 9
Microphone Array FocusingHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
2
Expected Results(Matlab simulation with 4 microphones:)
For artificial signalsTheoretical: 6 dB of SNR improvementPractical: 3-9 dB of SNR improvement
Mix: Separated: Speech Music
For real room signals0-3 dB of SNR improvement
Testing Room SetupHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
5
Testing room
Microphone Array
Sound source 1 Sound Source 2
Block DiagramHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
5
Pre Amplifier
6701 EVM
Creative SoundBlaster
SB2EVM PC Software
Speaker ProcessingAudio Codec
Input Files
Output Files
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Source 1
Source 2
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Mix 1
Mix 2
Mix3
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Cross CorrelationOf Mix 1,2
Cross CorrelationOf Mix 1,3
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Mix 1
Moved MixesMix 2a
Mix 2b
Mix 3a
Mix 3b
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Mix 1+2a
Mix 1+2b
Mix 3a
Mix 3b
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Result 1Mix 1+2a+3a
Result 2Mix 1+2b+3b
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Result 1Source 1
Source 2Result 2
Delay Detection AlgorithmHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
XCorr
XCorr
XCorr
S1
S2
S3
S4
Find 2 Maximums
Shift Signal
Shift Signal
Add Correlated
SignalsShifted S3Shifted S4
S1
DSP Algorithm ImplementationHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
- Radix 2 FFT/IFFT used for cross correlation calculation.
- Delay estimation done only once, to save processing time. Can be easily changed.
- Sub Blocks must be used – 8 Kbytes Block Size (Memory limits,
FFT overflow)
- Auxiliary Software: SB2EVM Wav2Dat/Dat2Wav
ResultsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Artificial SignalsPoor results
Real Room SignalsNo improvement
ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Limited Block Size damages separation.EVM limit 16Kbytes
Average errorvs.Block Size
ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Room acoustics degrades the ability to calculate delays
ConclusionsHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Direct sound must be stronger thenreflected sound
SummaryHigh speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6
Microphone Array Focusing can bring good results but it needs…
- Bigger Blocks (more memory)- Better room acoustics- De-reverberation- Other delay detection mechanism (video, optical measurements)- More microphones
Thanks…
High speed digital systems laboratoryהמעבדה למערכות ספרתיות מהירות
6