Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15. 11

Hangelemző rendszer Hangelemző rendszer fejlesztése Symbian OS-refejlesztése Symbian OS-re

Hegedűs Iván MihályHegedűs Iván Mihály

Pázmány Péter Pázmány Péter Katolikus EgyetemKatolikus EgyetemInformációs Technológiai KarInformációs Technológiai Kar

22 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

EmlékeztetőEmlékeztető

A célunk siketek számára egy olyan speciális A célunk siketek számára egy olyan speciális alkalmazás készítése mobil készülékekre, ami alkalmazás készítése mobil készülékekre, ami beszédhangból közvetlenül egy modellezett száj beszédhangból közvetlenül egy modellezett száj vagy fej mozgását tudja előállítani.vagy fej mozgását tudja előállítani.

Első lépések:Első lépések: Ismerkedés a készülékekkel és Symbian operációs Ismerkedés a készülékekkel és Symbian operációs

rendszerrelrendszerrel Stabil fejlesztői környezet kialakítása (SDK)Stabil fejlesztői környezet kialakítása (SDK) Kisebb programok készítése futtatásaKisebb programok készítése futtatása

33 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

Készülékek és korábbi eredményekKészülékek és korábbi eredmények

Telefonok és jellemzőik: Telefonok és jellemzőik: Nokia 7610 és , Sony Ericsson P910 Nokia 7610 és , Sony Ericsson P910

Symbian OS 7.0sSymbian OS 7.0s P910 jobban terhelhetőP910 jobban terhelhető

Nokia 6680:Nokia 6680: Symbian OS 8.0 Symbian OS 8.0 OpenGL ES támogatásOpenGL ES támogatás

Eredmények:Eredmények:„„Audio input stream” alkalmazásAudio input stream” alkalmazásFFT implementálásaFFT implementálása

Fordítási gondok!Fordítási gondok!Emulátoron működik, készülékre nem fordul?Emulátoron működik, készülékre nem fordul?

44 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

Beszédhang elemző rendszerBeszédhang elemző rendszer

A felmerült hibákra A felmerült hibákra megoldást kell találni!megoldást kell találni!

Feladatunk újbóli Feladatunk újbóli átgondolása átgondolása (visszalépés)(visszalépés)

„„Inkrementális Inkrementális fejlesztés”fejlesztés”

55 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

HangszintmérőHangszintmérő

Önálló alkalmazásÖnálló alkalmazás

Egyszerű grafikus megjelenítésEgyszerű grafikus megjelenítés

„„Van beszéd nincs beszéd” döntéshozó szerepVan beszéd nincs beszéd” döntéshozó szerep

Átalakítva alapmodulként használjuk a továbbiakbanÁtalakítva alapmodulként használjuk a továbbiakban

66 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

Javított FFT modulJavított FFT modul

Nagy erőforrásigényNagy erőforrásigényKritikus pontok:Kritikus pontok:

1.1. koszinusz tábla tárolása és méretekoszinusz tábla tárolása és mérete2.2. „„TReal”TReal” azaz azaz „double”„double” típus típus

Megoldások:Megoldások:1.1. Koszinusz tábla:Koszinusz tábla:

– Statikus vagy dinamikus tömbben tárolásaStatikus vagy dinamikus tömbben tárolása– A tábla méret csökkentéseA tábla méret csökkentése

2.2. „„TRreal32”TRreal32” azaz azaz „float”„float” típus típus

77 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

MFCC modulMFCC modul

(Mel Frequency Cepstrum Coefficients – MFCC)(Mel Frequency Cepstrum Coefficients – MFCC)Neurális hálózatnak elkészíti a FFT értékeiből Neurális hálózatnak elkészíti a FFT értékeiből számított megfelelő bemenetei jelsorozatotszámított megfelelő bemenetei jelsorozatot

Főbb lépesei:Főbb lépesei: Hamming ablakHamming ablak Fast Fourier Transformation (FFT)Fast Fourier Transformation (FFT) LogaritmusLogaritmus diszkrét koszinusz transzformációt (DCT)diszkrét koszinusz transzformációt (DCT)

Emulátoron sikeres tesztekEmulátoron sikeres tesztekA készüléken még nem képes futni a A készüléken még nem képes futni a rendszerünkbe beépített modulrendszerünkbe beépített modul

88 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

Neurális háló és PCANeurális háló és PCA

Neurális háló:Neurális háló:Mobil készüléken ki kell váltanunk!Mobil készüléken ki kell váltanunk!Tanítása PC-n történikTanítása PC-n történikA betanított háló szinapszis értékeiből C++ kódot A betanított háló szinapszis értékeiből C++ kódot generálunkgenerálunkKiértékelő függvényKiértékelő függvény

Főkomponens analízis (PCA):Főkomponens analízis (PCA):Szintén automatán generált kódSzintén automatán generált kódJelentősége pixelkoordináták kinyerése a neurális háló Jelentősége pixelkoordináták kinyerése a neurális háló kapott értékekbőlkapott értékekbőlA grafikus felület az itt kapott értékkel kapcsolható A grafikus felület az itt kapott értékkel kapcsolható rendszerünkhözrendszerünkhöz

99 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

ÖsszefoglalásÖsszefoglalás

A részmoduljaink többsége készA részmoduljaink többsége készA készüléken az előfeldolgozás (MFCC) A készüléken az előfeldolgozás (MFCC) futtatása a legfontosabb feladatfuttatása a legfontosabb feladatEmulátoros környezetben már minden Emulátoros környezetben már minden adott az első rendszerteszthezadott az első rendszerteszthez

További feladataink:További feladataink:Végtelenítési feladatVégtelenítési feladatÖsszekapcsolás a grafikus Összekapcsolás a grafikus felülettelfelülettel

1010 Mérnöki tervezés - 2005. december 15. Mérnöki tervezés - 2005. december 15.

Köszönöm a figyelmet!Köszönöm a figyelmet!