svm cz.2

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

SVM cz.2

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Plan wykładu

Przypomnienie i demonstracjaKlasyfikacja wieloklasowaZastosowania w rozpoznawaniu twarzy

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

SVM jako klasyfikator

Cel: możliwość przyporządkowania elementu do jednej z klasDwa etapy: nauka klasyfikacja próbek

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

SVM – charakterystyka

Rozwiązywanie problemów separowalnych liniowoZwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny maksymalizacja marginesu

rozdzielającego próbki

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dodanie wymiarów

Funkcja:Konieczna zamiana x(x)Wykorzystywany iloczyn skalarnyIloczyn skalarny = jądro przekształcenia

Zbędna znajomość funkcji

Mn RR :

)()(),( vuvuK

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Jądra przekształceń

Liniowe

Wielomianowe

RBF (radial basis functions)

2

2||

),( vu

evuK

vuvuK ),(

dvuvuK )1(),(

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Hiperpłaszczyzna

Optymalna hiperpłaszczyzna:w0 • x + b0 = 0

dla przykładu 2D jest to prosta

Optymalna szerokość marginesu:

00000

2

||

2

www),bρ(w

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wektory wspierające

Margines:Optymalna hiperpłaszczyzna:

yi – identyfikator klasy i – mnożniki Lagrange’a

Problem: znaleźć i

1)( bxwy ii

l

iiii xyw

1

00

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rezultat optymalizacji

Współczynniki : niezerowe dla wektorów wspierających równe zeru dla reszty wektorów

Próbka treningowa po nauce: wektory wspierające współczynniki dla każdego wektora liczba wektorów zdecydowanie mniejsza

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Nauka 1

...n

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Klasyfikacja SVM

Obliczenie y dla dowolnego wektora:

xr, xs – wektory wspierające z obydwu klas

Wybór klasy i moc przynależności

bxxKyxfl

iiii

1),()(

l

isiriii xxKxxKyb

1)],(),([

2

1

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Miękki margines

Nauka z błędem:

Minimalizacja liczby błędówModyfikacja optymalizowanej funkcjiParametr C: 1/C – tolerancja błędu

iii bxwy 1)(

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Bez miękkiego marginesu

Maksymalizacja funkcji:

DW TT

2

11)(

),( jijiij xxKyyD

0 0 YT ) ,..., (1l

Ty y Y

),...,( 1 lT

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Z miękkim marginesem

Maksymalizacja funkcji:

)(2

11),(

2

CDW TT

),( jijiij xxKyyD

1 0 0 YT ) ,..., (1l

Ty y Y

),...,( 1 lT

0

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Prezentacja...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Klasyfikacja wieloklasowa

Przedstawienie problemu

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Klasyfikacja wieloklasowa

Punkt wyjścia – klasyfikacja dwuklasowaPróbka treningowa – N klasMożliwe podejścia: wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Metoda klasy bazowej

Jedna z klas traktowana jako klasa bazowaKlasyfikacja każdej z klas z wybraną klasą bazowąWygrywa najmocniejsza odpowiedźKlasyfikacja wieloklasowa: N – 1 klasyfikacji dwuklasowych

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Cechy metody

Zalety: duża szybkość skuteczna dla łatwo separowalnych

klas niebazowych

Wady: słabe możliwości separowania

klas niebazowych

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Porównywanie 1 – N

Każda klasa porównywana z resztąDecyduje najsilniejsza odpowiedźPorównanie z metodą klasy bazowej: Bardziej uniwersalne podejście Porównywalna szybkość

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Porównywanie 1 – 1

Każda klasa porównywana z każdąNajwiększa dokładnośćN(N – 1)/2 klasyfikacji dwuklasowychNiektóre porównania są nadmiarowe

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Zastosowania SVM

Detekcja i weryfikacjaPorównywanie wektorów cechŁączenie wynikówInne zastosowania związane z klasyfikacją wektorów

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja twarzy

Wykrywanie elips uogólniona Transformata Hougha zbiór kandydatów na twarze

Wstępna normalizacja kandydatówWeryfikacja porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM)

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Porównywanie wektorówCel: określenie podobieństwa wektorów cechOdległość dwóch wektorów: Euklidesowa Mahalanobisa

SVM określa podobieństwo: dwóch wektorów wektora będącego różnicą

porównywanych wektorów

K11

K12

K1n

...

K21

K22

K2n

...

K11

K12

K1n

...

K21

K22

K2n

...

SVM

Ta sama klasa

Różne klasy

SVM

Ta sama klasa

Różne klasy

K11 - K21

...

K12 - K22

K1n - K2n

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Łączenie metod

Wiele metod ekstrakcji cech

S1

S2

Sn

... S

K1

K2

Kn

...

Dwa obrazy Wektory cech Podobieństwa

K1

K2

Kn

...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

SVM i łączenie metod

Klasyfikacja wektora podobieństw jądro liniowe jądro wielomianowe długi czas wykonania

Wykorzystanie treningu z jądrem liniowym wagi dla poszczególnych elementów obliczanie średniej ważonej

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Inne zastosowania SVM

Detekcja kąta obrotu głowyWyznaczanie kierunku padania światłaOkreślanie pewności rozpoznania klasyfikacja wektora posortowanych

podobieństw do elementów bazy

Ocena jakości obrazu twarzy zastosowanie przy sekwencjach video

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wyniki

Znaczna poprawa dla metody opartej o Gabor WaveletsBrak zadowalających rezultatów dla Eigenfaces prawdopodobna przyczyna:

niereprezentatywna próbka

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Ograniczenia SVM

Stała, stosunkowo mała liczba klasZbiór treningowy: potrzebna duża ilość danych próbki muszą być reprezentatywne!

Ciężko dobrać optymalne parametry

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

SVM i sieci neuronowe

SVM: bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje

ANN przydatny do przetwarzania obrazów

ANN: więcej zastosowań możliwa realizacja sprzętowa

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Podsumowanie

Klasyfikacja wieloklasowa: kilka możliwości różna złożoność czasowa

SVM – bardzo uniwersalny mechanizmSzerokie zastosowanie

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dziękuję za uwagę!