diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•knn osztályozó...

19
Diszkrét hangrögzítő tervezése Járó Áron MSc Önálló laboratórium 2. Konzulens: Sujbert László

Upload: others

Post on 17-Feb-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Diszkrét hangrögzítő tervezése

Járó Áron

MSc Önálló laboratórium 2.

Konzulens: Sujbert László

Page 2: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Problémafelvetés

• + Ismeretlen eredetű zajok a lakókörnyezetben

• - Privát tartalmú beszélgetések

Page 3: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Előző féléves eredmények

• Hangjelenségek részleges rögzítése

Page 4: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Előző féléves eredmények

• Hangjelenségek részleges rögzítése

• Megszakítási paraméterek meghatározása

• Beszéd nem érthető

• Lehető legnagyobb rögzítési arány

• Lehető leghosszabb egybefüggő időtartam

Page 5: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Előző féléves eredmények

• Megszakítási paraméterek meghatározása

• Irodalomkutatás• Beszédtöredékek integrálásának jelensége

• Felmérés kísérlet útján• Egymástól független szövegrészletek, különböző

megszakítások mellett

• Kérdőív kitöltetése

Page 6: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Előző féléves eredmények

Page 7: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Zajforrás azonosításának segítése

• Zajszakértő munkáját segítő eszközök

• Hangfelvétel feldolgozása, “olvashatóvá” tétele

Page 8: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Zajforrás azonosításának segítése

• Lényegkiemelés a felvétel blokkjainakidőfüggvényében és spektrumában

• Blokkok spektrumának átlagolása

• Blokkok osztályozása audio tulajdonságvektorok alapján

• Zajszakértő munkáját segítő eszközök

Page 9: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Csúcskereső algoritmusok

• Impulzus – RMS hirtelen változása

Page 10: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Csúcskereső algoritmusok

• Csúcsok a spektrumban

Page 11: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Csúcskereső algoritmusok

• Harmonicitás a kepstrum alapján

• Kepstrum: "spektrum spektruma"

• Szabályos ismétlődések a spektrumban

• Harmonikus tartalom

Page 12: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Audio blokkok osztályozása

• Címkék hozzárendelése minden blokkhoz

• Összehasonlítás felcímkézett hangfelvételekkel

• Tulajdonságvektor előállítása

• kNN osztályozó modell

Page 13: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Audio blokkok osztályozása

• Tulajdonságvektor

• Teljesítmény oktáv szélességű sávokon

• Oktávsávok varianciája

Page 14: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Audio blokkok osztályozása

• Tulajdonságvektor

• FFT ->

• Binek átlagolása oktáv szélességű sávokra ->

• Az oktávsávokra eső átlagos amplitúdószórása

Page 15: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Jelentés és ábra

Page 16: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Az osztályozás hatékonysága

• 3 különböző osztályba tartozó minták

• 30 független hangfelvétel

• ~14 perc hanganyag

Page 17: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Az osztályozás hatékonysága

Page 18: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

A továbbfejlesztés lehetőségei

• Hatékonyabb tulajdonságvektorok keresése

• Hosszú időtartamú tulajdonságok összesítése

• Bevetés "élesben"

Page 19: Diszkrét hangrögzítő tervezésedsp.mit.bme.hu/userfiles/onlab/jaro18.pdf•kNN osztályozó modell. Audio blokkok osztályozása •Tulajdonságvektor •Teljesítmény oktáv

Köszönöm a figyelmet!