isweb - information systems & semantic web marcin grzegorzek [email protected] 5.3...
TRANSCRIPT
![Page 1: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/1.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 1
5.3 Karhunen-Loeve-Transformation
Minimalität und Orthogonalität innerhalb eines Medienobjekts (Fourier und Wavelet-Transformation)
Karhunen-Loeve-Transformation (KLT) für Minimalität und Orthogonalität bzgl. mehrerer Medienobjekten
Analyse der Verteilung der Feature-Werte mehrerer Medienobjekte
![Page 2: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/2.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 2
Erkennung linearer Abhängigkeit anhand erkannter Achsen
andere Bezeichnung für KLT: Hauptachsentransformation (HAT), principal component analysis (PCA)
5.3 Karhunen-Loeve-Transformation (2)
![Page 3: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/3.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 3
Lineare Abhängigkeit:10 Beispielpunkte
![Page 4: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/4.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 4
Lineare Abhängigkeit und Minimalität
lineare Abhängigkeit bedeutet Redundanz→ Verletzung der Forderung nach Minimalität
Problem: Achsen oft nicht achsenparallel im Feature-Raum
Idee der KLT: Verschiebung und Rotation des Feature-Raums→ Achsen entsprechen Feature-Dimensionen→ Erwartungswert ist Koordinatenursprung
Entfernen von Achsen mit geringer Steuung
![Page 5: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/5.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 5
Erstellen der Kovarianzmatrix
Berechnung Kovarianzmatrix aus -dimensionalen Feature-Vektoren
-Kovarianzmatrix :
Kovarianz zwischen Dimensionen und : 0 → keine lineare Abhängigkeit >0 → positive lineare Abhängigkeit <0 → negative lineare Abhängigkeit
![Page 6: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/6.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 6
Diagonalwerte entspechen Varianzwerten einzelner Dimensionen
Kovarianzmatrix ist symmetrisch→ Zerlegung in durch Lösen des Eigenwertproblems möglich
Erstellen der Kovarianzmatrix
![Page 7: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/7.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 7
Kovarianzmatrix =
enthält orthonormale Eigenvektoren (Achsen)→ Transformation in Eigenraum
entspricht Rücktransformation
ist Diagonalmatrix: Diagonalwerte sind Eigenwerte/Varianzwerte→ achsenparallele Skalierung im Eigenraum
![Page 9: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/9.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 9
Entfernen linearer Abhängigkeiten
Transformation der Feature-Vektoren erzeugt achsenparallele Abhängigkeits-achsen (Translation um negierten Mittel-wertsvektor und Multiplikation mit )
Sortieren der Achsen nach Varianzwert
Entfernen von Achsen mit geringer Varianz (unterhalb best. Schwellwert)
![Page 10: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/10.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 10
Rücktransformation bedeutet Entfernen linearer Abhängigkeiten (Multiplikation mit und Translation um Mittelwertsvektor)
Reduktionsfehler abhängig von Eigenwerten der entfernten Achsen→ Distanzen bleiben weitgehend erhalten
Entfernen linearer Abhängigkeiten (2)
![Page 11: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/11.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 11
Nach KLT-Reduktion graphisch
![Page 12: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/12.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 12
Bewertung der KLT
Vorteile der KLT
Orthogonalisierung:- lineare Abhängigkeiten werden entfernt- Werte der Achsendimensionen (inhärente Feature
Dimension) isoliert manipulierbar→ Trennung wesentlicher von unwesentlichen Dimensionen möglich
![Page 13: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/13.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 13
Bewertung der KLT (2)
Vorteile der KLT (Forts.)
Minimierung: Entfernung unnötiger Dimensionen im Eigenraum→ minimaler Reduktionsfehler
Invarianzen: isolierte Analyse von linear wirkenden Invarianzen möglich
![Page 14: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/14.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 14
Bewertung der KLT (3)
Probleme der KLT
Berechnung auf Menge von Feature-Vektoren Problem bei dynamischer Menge Lösungsansatz: Verwendung statischer repräsentativer
Untermenge
![Page 15: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/15.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 15
Probleme der KLT (Forts.)
nicht-lineare Abhängigkeiten nicht erkennbar
orthogonale Achsen: nicht immer erwünschtAusweg: ICA (independent component analysis)
Bewertung der KLT (3)
![Page 16: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/16.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 16
Nicht-lineare Abhängigkeiten
![Page 17: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/17.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 17
Berechnung der KLT
Ausgangspunkt ist Menge von -dimensionalen Feature-Vektoren→ Feature-Matrix
Beispiel:
![Page 18: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/18.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 18
Mittelwertvektor:
Beispiel:
Berechnung der KLT (2)
![Page 19: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/19.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 19
Berechnung der Kovarianzmatrix
Kovarianzmatrix:
Beispiel:
![Page 20: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/20.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 20
Zerlegung der Kovarianzmatrix
da symmetrisch, Zerlegung anhand Eigenvektoren möglich:
enthält Eigenwerte
ist orthonormal und Spaltenvektoren entsprechen den Achsen
![Page 21: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/21.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 21
Zerlegung der Kovarianzmatrix
Durchführung Permutation der drei Matrizen, damit gilt
Beispiel:
![Page 22: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/22.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 22
Transformation im Achsenraum
Transformation von Feature-Vektor
Beispiel:
![Page 24: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/24.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 24
Entfernen von Dimensionen
Entfernen von Achsendimensionen mit geringer Varianz
Abschätzung über Anteil an Gesamtvarianz:
![Page 25: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/25.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 25
Beispiel: 1. Achse hat 97 Prozent und zweite Achse 3 Prozent→ Weglassen der zweiten Achsendimension
sei Ergebnis der Reduktion von
Rücktransformation von erzeugt
Entfernen von Dimensionen (2)
![Page 26: ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb](https://reader035.vdocuments.pub/reader035/viewer/2022062417/55204d6349795902118b8e6f/html5/thumbnails/26.jpg)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 26
Rekonstruktionsfehler aufgrund Reduktion
Erhalt nur der ersten Achsendimensionen
Erwartungswert des quadrierten Fehlers:
es gilt: