challp hs09 - schlusspräsentation
TRANSCRIPT
1
Challenge Projekt (HS09)
Schlusspräsentation18.12.2009
2
AgendaKurzrückblick
Framework
Automatic Parameter Tuning
Blending
1+1 = 4
Lessons Learned
Kritik & Verbesserungen
3
KurzrückblickFramework shopping (Python, Java, C++)
pyflix, Kadri, jNetFlixPrize, Netflix Recommender Framework
Code sharing
Woche 12: Team Merging
Ressourcenknappheit
weniger Blening als gewünscht
4
Framework
Netflix Recommender Framework
5’735 vs. 2’287 LOC (+ 251%)
36 vs. 16 Klassen (+ 225%)
neu mit Datum, Blending, Berechnungs-Export, Parameter-Automatisierung, Probe-/Qualifying Switch
5
AlgorithmenSVD
SVD++ verworfen
kNN
Double Average
SlopeOne
Time Dependent Models
bessere Ergebnisse ohne normaler User/Movie Average
6
Algorithmen müssen folgende Kriterien erfüllen:
Auskunft über ihre Parameter geben
Parameter setzen lassen
Parameter werden zufällig gewählt
Ergebnisse werden gespeichert
Probe Qualifying Switch
Konfigurierbarer Ablauf
Parameter Tuning (APT)
7
Parameter Tuning:ResultatResultat
DoubleAverage: 1.015126 vs. 1.01384 (-0.2%)
SlopeOne: abcd 0.989 vs. 0.983 (-0.6%)
SVD: 0.92 vs.0.917972 (-0.3%)
kNN: 0.937 vs. 0.928 (-1.0%)
Time Dep User Model: 1.055 vs. 1.0378 (-1.66%)
8
Blending
Blender Formel: doubleaverage -0.00325106, knn 0 0.336127, slopeone -0.0264011, svd #1 0.225386, svd #2 0.342997, svd #3 0.125141
9
1 + 1 = 4
Zusammenschluss Gruppe 1 (BigBoom) und Gruppe 5 (Ibex)
Codesharing
grosses Archiv an Modellen
den “grossen” nachgemacht
10
StatistikenBigBoom
#1: 1.0539844
#2: 0.92650296
#3: 0.91475416
#4: 0.9100432
Ibex
#1: 0.9896435
#2: 0.98849348
#3: 0.92781145
#4: 0.9100432
(-5% vs
Cinematch)
innert 14 W
ochen!
11
Lessons Learned
C++ mühsam, aber leistungsfähig
Framework nicht ideale / perfekte Software
interessant, (eigene) Algorithmen zu erforschen und umsetzen
Viel Zeit = Wenig Resultate
spannend, mit grosser Datenmenge zu arbeiten
12
Kritik & Verbesserungen
Modul-Bewertung nicht klar
Bessere Zeitplanung
Alles am Schluss ist ungünstig
Zuviel Zeit auf Frameworkerweiterung
gleiches Framework für alle
HSR- & Netflix-Dataset
13
Dabei Sein Ist Alles
# 3# 3War ja klar, dass Java besser ist ;-)
14