Download - SVM cz.2
![Page 1: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/1.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM cz.2
![Page 2: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/2.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu
Przypomnienie i demonstracjaKlasyfikacja wieloklasowaZastosowania w rozpoznawaniu twarzy
![Page 3: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/3.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM jako klasyfikator
Cel: możliwość przyporządkowania elementu do jednej z klasDwa etapy: nauka klasyfikacja próbek
![Page 4: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/4.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM – charakterystyka
Rozwiązywanie problemów separowalnych liniowoZwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny maksymalizacja marginesu
rozdzielającego próbki
![Page 5: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/5.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dodanie wymiarów
Funkcja:Konieczna zamiana x(x)Wykorzystywany iloczyn skalarnyIloczyn skalarny = jądro przekształcenia
Zbędna znajomość funkcji
Mn RR :
)()(),( vuvuK
![Page 6: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/6.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jądra przekształceń
Liniowe
Wielomianowe
RBF (radial basis functions)
2
2||
),( vu
evuK
vuvuK ),(
dvuvuK )1(),(
![Page 7: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/7.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Hiperpłaszczyzna
Optymalna hiperpłaszczyzna:w0 • x + b0 = 0
dla przykładu 2D jest to prosta
Optymalna szerokość marginesu:
00000
2
||
2
www),bρ(w
![Page 8: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/8.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wektory wspierające
Margines:Optymalna hiperpłaszczyzna:
yi – identyfikator klasy i – mnożniki Lagrange’a
Problem: znaleźć i
1)( bxwy ii
l
iiii xyw
1
00
![Page 9: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/9.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Rezultat optymalizacji
Współczynniki : niezerowe dla wektorów wspierających równe zeru dla reszty wektorów
Próbka treningowa po nauce: wektory wspierające współczynniki dla każdego wektora liczba wektorów zdecydowanie mniejsza
![Page 10: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/10.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Nauka 1
...n
![Page 11: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/11.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Klasyfikacja SVM
Obliczenie y dla dowolnego wektora:
xr, xs – wektory wspierające z obydwu klas
Wybór klasy i moc przynależności
bxxKyxfl
iiii
1),()(
l
isiriii xxKxxKyb
1)],(),([
2
1
![Page 12: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/12.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Miękki margines
Nauka z błędem:
Minimalizacja liczby błędówModyfikacja optymalizowanej funkcjiParametr C: 1/C – tolerancja błędu
iii bxwy 1)(
![Page 13: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/13.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Bez miękkiego marginesu
Maksymalizacja funkcji:
DW TT
2
11)(
),( jijiij xxKyyD
0 0 YT ) ,..., (1l
Ty y Y
),...,( 1 lT
![Page 14: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/14.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Z miękkim marginesem
Maksymalizacja funkcji:
)(2
11),(
2
CDW TT
),( jijiij xxKyyD
1 0 0 YT ) ,..., (1l
Ty y Y
),...,( 1 lT
0
![Page 15: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/15.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Prezentacja...
![Page 16: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/16.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Klasyfikacja wieloklasowa
Przedstawienie problemu
![Page 17: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/17.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Klasyfikacja wieloklasowa
Punkt wyjścia – klasyfikacja dwuklasowaPróbka treningowa – N klasMożliwe podejścia: wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1
![Page 18: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/18.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Metoda klasy bazowej
Jedna z klas traktowana jako klasa bazowaKlasyfikacja każdej z klas z wybraną klasą bazowąWygrywa najmocniejsza odpowiedźKlasyfikacja wieloklasowa: N – 1 klasyfikacji dwuklasowych
![Page 19: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/19.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
![Page 20: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/20.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
![Page 21: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/21.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
![Page 22: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/22.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
![Page 23: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/23.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
![Page 24: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/24.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Cechy metody
Zalety: duża szybkość skuteczna dla łatwo separowalnych
klas niebazowych
Wady: słabe możliwości separowania
klas niebazowych
![Page 25: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/25.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie 1 – N
Każda klasa porównywana z resztąDecyduje najsilniejsza odpowiedźPorównanie z metodą klasy bazowej: Bardziej uniwersalne podejście Porównywalna szybkość
![Page 26: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/26.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład...
![Page 27: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/27.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie 1 – 1
Każda klasa porównywana z każdąNajwiększa dokładnośćN(N – 1)/2 klasyfikacji dwuklasowychNiektóre porównania są nadmiarowe
![Page 28: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/28.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Zastosowania SVM
Detekcja i weryfikacjaPorównywanie wektorów cechŁączenie wynikówInne zastosowania związane z klasyfikacją wektorów
![Page 29: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/29.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Detekcja twarzy
Wykrywanie elips uogólniona Transformata Hougha zbiór kandydatów na twarze
Wstępna normalizacja kandydatówWeryfikacja porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM)
![Page 30: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/30.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie wektorówCel: określenie podobieństwa wektorów cechOdległość dwóch wektorów: Euklidesowa Mahalanobisa
SVM określa podobieństwo: dwóch wektorów wektora będącego różnicą
porównywanych wektorów
K11
K12
K1n
...
K21
K22
K2n
...
![Page 31: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/31.jpg)
K11
K12
K1n
...
K21
K22
K2n
...
SVM
Ta sama klasa
Różne klasy
![Page 32: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/32.jpg)
SVM
Ta sama klasa
Różne klasy
K11 - K21
...
K12 - K22
K1n - K2n
![Page 33: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/33.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Łączenie metod
Wiele metod ekstrakcji cech
S1
S2
Sn
... S
K1
K2
Kn
...
Dwa obrazy Wektory cech Podobieństwa
K1
K2
Kn
...
![Page 34: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/34.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM i łączenie metod
Klasyfikacja wektora podobieństw jądro liniowe jądro wielomianowe długi czas wykonania
Wykorzystanie treningu z jądrem liniowym wagi dla poszczególnych elementów obliczanie średniej ważonej
![Page 35: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/35.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inne zastosowania SVM
Detekcja kąta obrotu głowyWyznaczanie kierunku padania światłaOkreślanie pewności rozpoznania klasyfikacja wektora posortowanych
podobieństw do elementów bazy
Ocena jakości obrazu twarzy zastosowanie przy sekwencjach video
![Page 36: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/36.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wyniki
Znaczna poprawa dla metody opartej o Gabor WaveletsBrak zadowalających rezultatów dla Eigenfaces prawdopodobna przyczyna:
niereprezentatywna próbka
![Page 37: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/37.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ograniczenia SVM
Stała, stosunkowo mała liczba klasZbiór treningowy: potrzebna duża ilość danych próbki muszą być reprezentatywne!
Ciężko dobrać optymalne parametry
![Page 38: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/38.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM i sieci neuronowe
SVM: bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje
ANN przydatny do przetwarzania obrazów
ANN: więcej zastosowań możliwa realizacja sprzętowa
![Page 39: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/39.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie
Klasyfikacja wieloklasowa: kilka możliwości różna złożoność czasowa
SVM – bardzo uniwersalny mechanizmSzerokie zastosowanie
![Page 40: SVM cz.2](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813a64550346895da25e74/html5/thumbnails/40.jpg)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę!