svm cz.2

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

SVM cz.2


Plan wykładu

Przypomnienie i demonstracjaKlasyfikacja wieloklasowaZastosowania w rozpoznawaniu twarzy


SVM jako klasyfikator

Cel: możliwość przyporządkowania elementu do jednej z klasDwa etapy: nauka klasyfikacja próbek


SVM – charakterystyka

Rozwiązywanie problemów separowalnych liniowoZwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny maksymalizacja marginesu

rozdzielającego próbki


Dodanie wymiarów

Funkcja:Konieczna zamiana x(x)Wykorzystywany iloczyn skalarnyIloczyn skalarny = jądro przekształcenia

Zbędna znajomość funkcji

Mn RR :

)()(),( vuvuK


Jądra przekształceń

Liniowe

Wielomianowe

RBF (radial basis functions)

2

2||

),( vu

evuK

vuvuK ),(

dvuvuK )1(),(


Hiperpłaszczyzna

Optymalna hiperpłaszczyzna:w0 • x + b0 = 0

dla przykładu 2D jest to prosta

Optymalna szerokość marginesu:

00000

2

||

2

www),bρ(w


Wektory wspierające

Margines:Optymalna hiperpłaszczyzna:

yi – identyfikator klasy i – mnożniki Lagrange’a

Problem: znaleźć i

1)( bxwy ii

l

iiii xyw

1

00


Rezultat optymalizacji

Współczynniki : niezerowe dla wektorów wspierających równe zeru dla reszty wektorów

Próbka treningowa po nauce: wektory wspierające współczynniki dla każdego wektora liczba wektorów zdecydowanie mniejsza


Nauka 1

...n


Klasyfikacja SVM

Obliczenie y dla dowolnego wektora:

xr, xs – wektory wspierające z obydwu klas

Wybór klasy i moc przynależności

bxxKyxfl

iiii

1),()(

l

isiriii xxKxxKyb

1)],(),([

2

1


Miękki margines

Nauka z błędem:

Minimalizacja liczby błędówModyfikacja optymalizowanej funkcjiParametr C: 1/C – tolerancja błędu

iii bxwy 1)(


Bez miękkiego marginesu

Maksymalizacja funkcji:

DW TT

2

11)(

),( jijiij xxKyyD

0 0 YT ) ,..., (1l

Ty y Y

),...,( 1 lT


Z miękkim marginesem

Maksymalizacja funkcji:

)(2

11),(

2

CDW TT

),( jijiij xxKyyD

1 0 0 YT ) ,..., (1l

Ty y Y

),...,( 1 lT

0


Prezentacja...


Klasyfikacja wieloklasowa

Przedstawienie problemu


Klasyfikacja wieloklasowa

Punkt wyjścia – klasyfikacja dwuklasowaPróbka treningowa – N klasMożliwe podejścia: wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1


Metoda klasy bazowej

Jedna z klas traktowana jako klasa bazowaKlasyfikacja każdej z klas z wybraną klasą bazowąWygrywa najmocniejsza odpowiedźKlasyfikacja wieloklasowa: N – 1 klasyfikacji dwuklasowych


Przykład...


Cechy metody

Zalety: duża szybkość skuteczna dla łatwo separowalnych

klas niebazowych

Wady: słabe możliwości separowania

klas niebazowych


Porównywanie 1 – N

Każda klasa porównywana z resztąDecyduje najsilniejsza odpowiedźPorównanie z metodą klasy bazowej: Bardziej uniwersalne podejście Porównywalna szybkość


Przykład...


Porównywanie 1 – 1

Każda klasa porównywana z każdąNajwiększa dokładnośćN(N – 1)/2 klasyfikacji dwuklasowychNiektóre porównania są nadmiarowe


Zastosowania SVM

Detekcja i weryfikacjaPorównywanie wektorów cechŁączenie wynikówInne zastosowania związane z klasyfikacją wektorów


Detekcja twarzy

Wykrywanie elips uogólniona Transformata Hougha zbiór kandydatów na twarze

Wstępna normalizacja kandydatówWeryfikacja porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM)


Porównywanie wektorówCel: określenie podobieństwa wektorów cechOdległość dwóch wektorów: Euklidesowa Mahalanobisa

SVM określa podobieństwo: dwóch wektorów wektora będącego różnicą

porównywanych wektorów

K11

K12

K1n

...

K21

K22

K2n

...

K11

K12

K1n

...

K21

K22

K2n

...

SVM

Ta sama klasa

Różne klasy

SVM

Ta sama klasa

Różne klasy

K11 - K21

...

K12 - K22

K1n - K2n


Łączenie metod

Wiele metod ekstrakcji cech

S1

S2

Sn

... S

K1

K2

Kn

...

Dwa obrazy Wektory cech Podobieństwa

K1

K2

Kn

...


SVM i łączenie metod

Klasyfikacja wektora podobieństw jądro liniowe jądro wielomianowe długi czas wykonania

Wykorzystanie treningu z jądrem liniowym wagi dla poszczególnych elementów obliczanie średniej ważonej


Inne zastosowania SVM

Detekcja kąta obrotu głowyWyznaczanie kierunku padania światłaOkreślanie pewności rozpoznania klasyfikacja wektora posortowanych

podobieństw do elementów bazy

Ocena jakości obrazu twarzy zastosowanie przy sekwencjach video


Wyniki

Znaczna poprawa dla metody opartej o Gabor WaveletsBrak zadowalających rezultatów dla Eigenfaces prawdopodobna przyczyna:

niereprezentatywna próbka


Ograniczenia SVM

Stała, stosunkowo mała liczba klasZbiór treningowy: potrzebna duża ilość danych próbki muszą być reprezentatywne!

Ciężko dobrać optymalne parametry


SVM i sieci neuronowe

SVM: bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje

ANN przydatny do przetwarzania obrazów

ANN: więcej zastosowań możliwa realizacja sprzętowa


Podsumowanie

Klasyfikacja wieloklasowa: kilka możliwości różna złożoność czasowa

SVM – bardzo uniwersalny mechanizmSzerokie zastosowanie


Dziękuję za uwagę!

svm cz.2

Documents