az alakfelismerés és g épi tanulás elemei
DESCRIPTION
Adatbányászati alkalmazások. Az Alakfelismerés és g épi tanulás ELEMEI. Bevezetés. Példa. Kézzel írt számjegyek felismerése. Polinom illesztése. Négyzet-összeg hibafüggvény. 0 -ad fokú polinom. 1 ső fokú polinom. 3 ad fokú polinom. 9 ed fokú polinom. Túlillesztés. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/1.jpg)
Adatbányászati alkalmazások
AZ ALAKFELISMERÉS ÉS GÉPI TANULÁS ELEMEIBEVEZETÉS
![Page 2: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/2.jpg)
Példa
Kézzel írt számjegyek felismerése
![Page 3: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/3.jpg)
Polinom illesztése
![Page 4: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/4.jpg)
Négyzet-összeg hibafüggvény
![Page 5: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/5.jpg)
0-ad fokú polinom
![Page 6: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/6.jpg)
1ső fokú polinom
![Page 7: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/7.jpg)
3ad fokú polinom
![Page 8: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/8.jpg)
9ed fokú polinom
![Page 9: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/9.jpg)
Túlillesztés
Átlagos négyzetes hiba gyöke (RMS):
![Page 10: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/10.jpg)
Polinom együtthatók
![Page 11: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/11.jpg)
Adatállomány mérete:
9ed fokú polinom
![Page 12: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/12.jpg)
Adatállomány mérete:
9ed fokú polinom
![Page 13: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/13.jpg)
Regularizáció
Büntessük a nagy értékű együtthatókat:
![Page 14: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/14.jpg)
Regularizáció:
![Page 15: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/15.jpg)
Regularizáció:
![Page 16: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/16.jpg)
Regularizáció: vs.
![Page 17: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/17.jpg)
Polinom együtthatók
![Page 18: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/18.jpg)
Valószínűségelmélet
Almák és Narancsok
![Page 19: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/19.jpg)
Valószínűségelmélet
Marginális valószínűség
Feltételes valószínűségEgyüttes valószínűség
![Page 20: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/20.jpg)
Valószínűségelmélet
Összeg szabály
Szorzat szabály
![Page 21: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/21.jpg)
A valószínűségszámítás szabályai
Összeg szabály
Szorzat szabály
![Page 22: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/22.jpg)
Bayes tétel
a poszterior likelihood × a prior
![Page 23: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/23.jpg)
Valószínűségi sűrűségek
![Page 24: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/24.jpg)
Transzformált sűrűségek
![Page 25: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/25.jpg)
Várható értékek
Feltételes várható érték(diszkrét eset)
A várható érték közelítése(diszkrét és folytonos)
![Page 26: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/26.jpg)
Varianciák és kovarianciák
![Page 27: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/27.jpg)
Normális (Gauss) eloszlás
![Page 28: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/28.jpg)
Gauss eloszlás várható értéke és varianciája
![Page 29: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/29.jpg)
Többdimenziós normális eloszlás
![Page 30: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/30.jpg)
Normális eloszlás paramétereinek becslése
Likelihood függvény
![Page 31: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/31.jpg)
(Log) Likelihood függvény maximalizálása
![Page 32: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/32.jpg)
A és becslések tulajdonságai
![Page 33: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/33.jpg)
Sztochasztikus görbeillesztés
![Page 34: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/34.jpg)
Maximum Likelihood
Határozzuk meg -t az négyzetes hiba maximalizálásával.
![Page 35: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/35.jpg)
Előrejelző eloszlások
![Page 36: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/36.jpg)
MAP: egy lépés a Bayes szemlélet felé
Határozzuk meg -t az regularizált legkisebb négyzetek minimalizálásával.
![Page 37: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/37.jpg)
Bayes-féle görbeillesztés
![Page 38: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/38.jpg)
Bayes-féle előrejelző eloszlások
![Page 39: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/39.jpg)
Modell-választás
Keresztellenőrzés
![Page 40: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/40.jpg)
A dimenzió probléma
![Page 41: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/41.jpg)
A dimenzió probléma
Polinom görbe illesztése M = 3
Gauss sűrűségek magas dimenzióban
![Page 42: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/42.jpg)
Döntéselmélet
KövetkeztetésHatározzuk meg -t vagy -t.
DöntésAdott x esetén határozzuk meg az optimális t-t.
![Page 43: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/43.jpg)
Minimális téves osztályozási arány
![Page 44: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/44.jpg)
Minimális várható veszteség
Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy normális (normal)
DöntésIg
azsá
g
![Page 45: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/45.jpg)
Minimális várható veszteség
Az tartományt úgy választjuk, hogy minimalizáljuk:
![Page 46: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/46.jpg)
Elutasítás
![Page 47: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/47.jpg)
Miért különítsük el a következtetést és döntést?
• Rizikó minimalizálás (a veszteség mátrix változhat az idővel)• Elutasítási lehetőség• Kiegyensúlyozatlan osztályok• Modellek egyesítése
![Page 48: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/48.jpg)
Döntéselmélet regressziónál
KövetkeztetésHatározzuk meg -t.
Döntés Adott x esetén találjunk y(x)optimális előrejelzést t-re.
Veszteségfüggvény:
![Page 49: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/49.jpg)
Négyzetes veszteségfüggvény
![Page 50: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/50.jpg)
Generatív vagy diszkriminatív
Generatív megközelítés: ModellHasználjuk a Bayes tételt
Diszkriminatív megközelítés: Modellezzük -t közvetlenül
![Page 51: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/51.jpg)
Entrópia
Alapvető mennyiség az alábbi területeken:• kódelmélet• statisztikus fizika• gépi tanulás
![Page 52: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/52.jpg)
Entrópia
Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit szükséges x átviteléhez?
Minden állapot egyenlően valószínű
![Page 53: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/53.jpg)
Entrópia
![Page 54: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/54.jpg)
Entrópia
Hányféleképpen lehet N azonos objektumot elhelyezni M számú dobozba?
Entrópia akkor maximális ha
![Page 55: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/55.jpg)
Entrópia
![Page 56: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/56.jpg)
Folytonos entrópia
Helyezzünk ¢ hosszú dobozokat a valós egyenesre
A folytonos entrópia akkor maximális (adott mellett) amikor
Amely esetben
![Page 57: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/57.jpg)
Feltételes entrópia
![Page 58: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/58.jpg)
Kullback-Leibler divergencia
![Page 59: Az Alakfelismerés és g épi tanulás ELEMEI](https://reader035.vdocuments.pub/reader035/viewer/2022062322/5681443d550346895db0d6d4/html5/thumbnails/59.jpg)
Kölcsönös információ