grundlagen stochastik & statistik€¦ · warum(mathematische)statistik?...
TRANSCRIPT
![Page 1: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/1.jpg)
Grundlagen Stochastik & Statistik
Stefan Heyder13. & 14. Februar 2020
TU Ilmenau
0
![Page 2: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/2.jpg)
Warum Statistik?
![Page 3: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/3.jpg)
Was ist Statistik?
Statistik ist die Lehre vom
• Erheben von,• Umgang mit und• Auswertung von
Daten.
1
![Page 4: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/4.jpg)
Warum Statistik?
• Experimente / Studien sollen generalisieren und reproduzierbar sein• Statistik ist in allen Phasen einer Studie vorhanden, u.a. in
• Planung,• Design,• Durchführung,• Datenaufbearbeitung,• Datenanalyse,• Präsentation der Ergebnisse,• Interpretation und• Publikation.
2
![Page 5: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/5.jpg)
Warum (mathematische) Statistik?
Daten sind mit Unsicherheit belastet:
• Stichprobe, keine Vollerhebung• Messungenaugikeiten• Modellierungsungenauigkeiten
⇝ Statistik bietet Werkzeuge um tatsächliche Effekte von zufälligenSchwankungen zu unterscheiden.
3
![Page 6: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/6.jpg)
Warum (mathematische) Statistik?
Daten sind mit Unsicherheit belastet:
• Stichprobe, keine Vollerhebung• Messungenaugikeiten• Modellierungsungenauigkeiten
⇝ Statistik bietet Werkzeuge um tatsächliche Effekte von zufälligenSchwankungen zu unterscheiden.
3
![Page 7: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/7.jpg)
Schätzen
![Page 8: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/8.jpg)
DeutschlandTrend
Figure 1: Sonntagsfrage zur Bundestagswahl 06.02.2020,1
1tagesschau.de. DeutschlandTrend: Jeder Zweite findet Lebensmittel zu billig. de. URL:https://www.tagesschau.de/inland/deutschlandtrend-2085.html (visitedon 02/10/2020).
4
![Page 9: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/9.jpg)
Modellierung
• Modellieren gesamte Bevölkerung, aus der wir zufällig N = 1003Personen ziehen
• Vereinfachung: Ziehen mit Zurücklegen; Zufallsstichprobe ausBevölkerung
• Anteil Wähler einer Partei sind dann Binomialverteilt mit ParameterN = 1003 und p = Anteil Wähler in Bevölkerung
5
![Page 10: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/10.jpg)
Die Zufallsstichprobe
P(a < X < b)P(a < X < b)
6
![Page 11: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/11.jpg)
Die Zufallsstichprobe
Population
Sample
6
![Page 12: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/12.jpg)
Die Zufallsstichprobe
●●
●
●
●
●
●
●
●
●●
6
![Page 13: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/13.jpg)
Die Zufallsstichprobe
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
6
![Page 14: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/14.jpg)
Schätzer
• Interesse an Parameter p• Zufall: p nicht genau bestimmbar, nur Schätzerp̂ = Anteil Wähler in Stichprobe
• p̂ würde sich ändern, wenn man erneut Stichprobe zieht⇝ p̂ zufällig
7
![Page 15: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/15.jpg)
Schätzer
• Fehlerarten: Deterministischer Fehler, Stochastischer Fehler• Deterministischer Fehler (Bias): z.B. durch Telefonumfragen• Stochastischer Fehler: Schwankungen bei Wiederholung derBefragung
8
![Page 16: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/16.jpg)
Schätzer
• Unverzerrtheit Ep̂ = p; im Mittel liegt p̂ richtig• Geringe Streuung: Var(p̂) ist klein• Ist p̂ unverzerrt, so heißt
√Var (p̂) Standardfehler
9
![Page 17: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/17.jpg)
Schätzer
• Beobachten X ∼ Binom (N,p) mit bekanntem N• Schätzer p̂ = X
N
• Unverzerrtheit: Ep̂ = E XN = 1NEX =
NpN = p
• Var (p̂) = Var( XN)= 1
N2 Var (X) =p(1−p)N ⇝ Standardfehler
√p(1−p)√N ≤ 1
2√N
10
![Page 18: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/18.jpg)
Konfidenzintervalle
![Page 19: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/19.jpg)
DeutschlandTrend
Figure 2: Fehlertoleranz der Sonntagsfrage2
2tagesschau.de, DeutschlandTrend.11
![Page 20: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/20.jpg)
Bereichsschätzung
• Problem an Punktschätzung: Man tri t den wahren Parameter nicht!• mittlere Ungenauigkeit kann man über Standardfehler quantifizieren
• Gibt nur Aussagen über den erwarteten Abstand, keine Aussage bei nureiner Schätzung
• Muss eventuell auch geschätzt werden
• ⇝ Schätzen Bereich, der den wahren Parameter mit hoherWahrscheinlichkeit enthält
• Größe des Bereichs entspricht Unsicherheit in der Schätzung
12
![Page 21: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/21.jpg)
Beispiel
• Umfrage, wahres p ist unbekannt● ●
●
●
●● ● ● ● ● ●
13
![Page 22: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/22.jpg)
Beispiel
• Umfrage, wahres p ist unbekannt
●
●
●
●●
●
● ●
●
●
● ●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●●
●
●●
●
●●
●
●
10
20
30
OJ VCsupp
len
• Schätzer p̂ tri t wahres p nicht
13
![Page 23: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/23.jpg)
Beispiel
• Umfrage, wahres p ist unbekannt
●
●
●
●●
●
●●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●●
●
●●
●
●●
●
●
10
20
30
0.5 1 2dose
len
• Bereich um p̂, der mit hoher Wahrscheinlichkeit p enthält
13
![Page 24: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/24.jpg)
Konfidenzbereiche
• Unbekannter Parameter p der Daten X1, . . . , Xn• Gesucht: Bereich K(X1, . . . , Xn) welcher p mit hoher Wahrscheinlichkeitenthält
• Fehlerwahrscheinlichkeit α (meistens 5%) vorgegeben
P (K (X1, . . . , Xn) ∋ p) ≥ 1− α
14
![Page 25: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/25.jpg)
Konfidenzbereiche sind zufällig
• Wiederholte Messungen ergeben unterschiedliche Konfidenzbereiche,müssen tatsächlichen Parameter nicht enthalten!
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
15
![Page 26: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/26.jpg)
Interpretation von Konfidenzbereichen
• Der echte Parameter p ist fest, der Konfidenzbereich K (X1, . . . , Xn) istzufällig
• Man wirft “mit der Dartscheibe nach dem Dart”• Würde man das Experiment wiederholen, dann enthält derKonfidenzbereich den Parameter in mindestens 1− α der Fälle
• Nach Beobachtung gilt entweder p ∈ K(X1, . . . , Xn) oder nicht• Alle Wahrscheinlichkeiten sind prospektiv zu lesen!
16
![Page 27: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/27.jpg)
Statistische Denkweise
![Page 28: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/28.jpg)
Was ist die Wahrscheinlichkeit dassunsere
Theorie / Hypothese wahr ist?
17
![Page 29: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/29.jpg)
Was ist die Wahrscheinlichkeit dassunsere
Theorie / Hypothese wahr ist?
17
![Page 30: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/30.jpg)
Bayesianische Sichtweise
Was ist die Wahrscheinlichkeit dass unsereTheorie / Hypothese wahr ist?
• Wahrscheinlichkeit als Maß für die Glaubwürdigkeit einer Aussage• Nach Beobachten von Daten verändert sich die Glaubwürdigkeit
18
![Page 31: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/31.jpg)
Frequentistische Sichtweise
Was ist die Wahrscheinlichkeit dass unsereTheorie / Hypothese wahr ist?
• Wahrscheinlichkeit ist relative Häufigkeit mit der ein Ereignis eintritt
• Obige Fragestellung ist unsinnig: Theorie / Hypothese ist wahr oderfalsch
19
![Page 32: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/32.jpg)
Frequentistische Sichtweise
Was ist die Wahrscheinlichkeit dass unsereTheorie / Hypothese wahr ist?
• Wahrscheinlichkeit ist relative Häufigkeit mit der ein Ereignis eintritt• Obige Fragestellung ist unsinnig: Theorie / Hypothese ist wahr oderfalsch
19
![Page 33: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/33.jpg)
Frequentistische Sichtweise
Wenn Theorie / Hypothese wahr ist, was ist die Wahrscheinlichkeit Datenzu beobachten?
• Wahrscheinlichkeit ist relative Häufigkeit mit der ein Ereignis eintritt• Obige Fragestellung ist unsinnig: Theorie / Hypothese ist wahr oderfalsch
19
![Page 34: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/34.jpg)
Tests
![Page 35: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/35.jpg)
Überprüfen von Hypothesen
• Wisenschaftstheorie: Aufstellen und Überprüfen von falsifizierbarenHypothesen
• Hypothesen können nicht bestätigt werden, nur verworfen werden• Verworfen wird, falls es genügend Beweise gegen die Hypothese gibt• Beweise sind hier unter der Hypothese extreme (unwahrscheinliche)Werte
20
![Page 36: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/36.jpg)
DeutschlandTrend
Figure 3: Sonntagsfrage zur Bundestagswahl 06.02.2020,3
3tagesschau.de, DeutschlandTrend.21
![Page 37: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/37.jpg)
Hypothese
• Die Schwarz-Grüne Koalition ist regierungsfähig
22
![Page 38: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/38.jpg)
Rechnen unter der Nullhypothese
Figure 4: Wahrscheinlichkeitsfunktion von Binom (n = 1008,p = 50%)
23
![Page 39: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/39.jpg)
Rechnen unter der Nullhypothese
●
●
●●●
●●●
●●
●●●
●
●
●
●●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
● ●
●
●
●●
●
●
●●
●
●●
●
●
●
●
●
10
20
30
0.5 1.0 1.5 2.0dose
len
Figure 4: Wahrscheinlichkeitsfunktion von Binom (n = 1003,p = 50%), gestrichelt:Beobachtung Schwarz-Grün
23
![Page 40: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/40.jpg)
Statistische Tests
• Ein statistischer Test ist eine Abbildung welche, gegeben Daten undeine Hypothese über einen Parameter dieser Daten, diese Hypotheseverwirft oder nicht verwirft.
• Gegeben• X1, . . . , Xn ∼ Pp• Nullhypothese über den Parameter p: p = p0• Alternativhypothese: p ̸= p0
• Dann ist ein statistischer Test ϕ eine Abbildung, welche denBeobachtungen X1, . . . , Xn “Ablehnen” oder “Nicht-Ablehnen” zuordnet
24
![Page 41: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/41.jpg)
Fehler erster und zweiter Art
Figure 5:4
4Dochudson2 Says.I always get confused about Type I and II errors. Can you show me something to help me remember the difference?en. May 2010. URL: https://effectsizefaq.com/2010/05/31/i-always-get-confused-about-type-i-and-ii-errors-can-you-show-me-something-to-help-me-remember-the-difference/ (visited on 03/19/2019).
25
![Page 42: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/42.jpg)
Fehler erster und zweiter Art
Nullhypothese tri t zu Alternative tri t zuTest verwirft nicht
richtige Entscheidung Fehler zweiter Art
Test verwirft
Fehler erster Art richtige Entscheidung
• ϕ heißt Test zum Signifikanzniveau α, falls der Fehler erster Art
PNullhypothese (“ϕ verwirft”) ,
also ein fehlerhaftes Verwerfen der Nullhypothese, kleiner als α ist.• Unter der Alternative p heißt
β (p) = PAlternativhypothese p (“ϕ verwirft nicht”)
die Güte des Tests (mit welcher Wahrscheinlichkeit weiße ich einenEffekt der Größe p nicht nach)
26
![Page 43: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/43.jpg)
Fehler erster und zweiter Art
Nullhypothese tri t zu Alternative tri t zuTest verwirft nicht richtige Entscheidung
Fehler zweiter Art
Test verwirft Fehler erster Art
richtige Entscheidung
• ϕ heißt Test zum Signifikanzniveau α, falls der Fehler erster Art
PNullhypothese (“ϕ verwirft”) ,
also ein fehlerhaftes Verwerfen der Nullhypothese, kleiner als α ist.• Unter der Alternative p heißt
β (p) = PAlternativhypothese p (“ϕ verwirft nicht”)
die Güte des Tests (mit welcher Wahrscheinlichkeit weiße ich einenEffekt der Größe p nicht nach)
26
![Page 44: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/44.jpg)
Fehler erster und zweiter Art
Nullhypothese tri t zu Alternative tri t zuTest verwirft nicht richtige Entscheidung Fehler zweiter ArtTest verwirft Fehler erster Art richtige Entscheidung
• ϕ heißt Test zum Signifikanzniveau α, falls der Fehler erster Art
PNullhypothese (“ϕ verwirft”) ,
also ein fehlerhaftes Verwerfen der Nullhypothese, kleiner als α ist.• Unter der Alternative p heißt
β (p) = PAlternativhypothese p (“ϕ verwirft nicht”)
die Güte des Tests (mit welcher Wahrscheinlichkeit weiße ich einenEffekt der Größe p nicht nach)
26
![Page 45: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/45.jpg)
Fehler erster und zweiter Art
Nullhypothese tri t zu Alternative tri t zuTest verwirft nicht richtige Entscheidung Fehler zweiter ArtTest verwirft Fehler erster Art richtige Entscheidung
• ϕ heißt Test zum Signifikanzniveau α, falls der Fehler erster Art
PNullhypothese (“ϕ verwirft”) ,
also ein fehlerhaftes Verwerfen der Nullhypothese, kleiner als α ist.
• Unter der Alternative p heißt
β (p) = PAlternativhypothese p (“ϕ verwirft nicht”)
die Güte des Tests (mit welcher Wahrscheinlichkeit weiße ich einenEffekt der Größe p nicht nach)
26
![Page 46: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/46.jpg)
Fehler erster und zweiter Art
Nullhypothese tri t zu Alternative tri t zuTest verwirft nicht richtige Entscheidung Fehler zweiter ArtTest verwirft Fehler erster Art richtige Entscheidung
• ϕ heißt Test zum Signifikanzniveau α, falls der Fehler erster Art
PNullhypothese (“ϕ verwirft”) ,
also ein fehlerhaftes Verwerfen der Nullhypothese, kleiner als α ist.• Unter der Alternative p heißt
β (p) = PAlternativhypothese p (“ϕ verwirft nicht”)
die Güte des Tests (mit welcher Wahrscheinlichkeit weiße ich einenEffekt der Größe p nicht nach)
26
![Page 47: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/47.jpg)
Interpretation
• Test verwirft:• Nicht: die Hypothese ist mit Wahrscheinlichkeit 95% falsch• Hypothese wurde mit Irrtumswahrscheinlichkeit 95% verworfen, wobeidiese richtig zu interpretieren ist
• Problem: Welche der Annahmen der Hypothese ist verletzt?• Test verwirft nicht:
• Nicht: die Hypothese ist bestätigt• Abweichung nicht vorhanden oder nur klein? ⇝ Konfidenzintervallbetrachten
• Geringer Stichprobenumfang?
• Wie bei Konfidenzintervallen: Für α = 5% verwirft man in einem von20 Fällen fälschlicherweise
27
![Page 48: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/48.jpg)
Gängige Tests
Parametrisch Nicht-parametrisch
t-Test Mann-Whitney-U / Wilcoxon Rangsum. Testgepaarter t-Test Wilcoxon Vorzeichen-Rang TestPearson Korrelation Spearman KorrelationANOVA, ein Faktor, (F-Test) Kruskal-Wallis TestANOVA, mehrere Faktoren, (F-Test) Friedman Test
Table 1: Parametrische & Nicht-parametrische Tests
• Parametrische Tests beruhen auf (parametrisierten) Verteilungen,oftmals Normalverteilung, welche oft (aber nicht immer!) durchzentralen Grenzwertsatz gewährleistet werden können
• Nichtparametrische Tests verwenden weniger Voraussetzugen, sindaber ineffizienter (benötigen mehr Daten) und oft schwieriger zuinterpretieren 28
![Page 49: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/49.jpg)
Konfidenzbereiche und Tests
![Page 50: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/50.jpg)
Dualität
• Gegeben einen Konfidenzbereich K(X1, . . . , Xn) für Parameter p zumNiveau 1− α erhält man sofort einen Test der Hypothese
“p = p0”zum Niveau α, indem man verwirft, wenn p0 ̸∈ K(X1, . . . , Xn)
10
20
30
0.5 1.0 1.5 2.0dose
len
29
![Page 51: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/51.jpg)
Dualität
• Gegeben Tests ϕp0 zum Signifikanzniveau α der Hypothese“p = p0”
für alle möglichen p0, so erhält man einen Konfidenzbereich mittels
K(X1, . . . , Xn) = {p0 | ϕp0 verwirft nicht }
• Hier muss also unter allen Hypothesen p = p0 gerechnet werden⇝ schwieriger
30
![Page 52: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/52.jpg)
Vor-/Nachteile von Konfidenzbereichen
• Konfidenzbereiche sind informativer
10
20
30
0.5 1.0 1.5 2.0dose
len
31
![Page 53: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/53.jpg)
Vor-/Nachteile von Konfidenzbereichen
• Informativer• Unsicherheit wird mit berücksichtigt• Leichter zu interpretieren
dafür aber
• Man muss unter allen Alternativen p0 rechnen können• ⇝ Berechnung kann kompliziert sein
32
![Page 54: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/54.jpg)
Vor-/Nachteile von Tests
• Man muss nur unter der Nullhypothese rechnen• Falls Konfidenzbereiche schwierig zu bestimmen sind, kann mantesten
aber
• 0/1 Aussage, Unsicherheit nicht mit quantifiziert• Interpretation schwierig, sowohl für Verwerfen als auch für nichtverwerfen
⇝ Konfidenzbereiche sind Tests vorzuziehen
33
![Page 55: Grundlagen Stochastik & Statistik€¦ · Warum(mathematische)Statistik? DatensindmitUnsicherheitbelastet: • Stichprobe,keineVollerhebung • Messungenaugikeiten • Modellierungsungenauigkeiten](https://reader033.vdocuments.pub/reader033/viewer/2022060422/605d7080efec50687d6dac14/html5/thumbnails/55.jpg)
References
Says, Dochudson2.I always get confused about Type I and II errors. Can you show me something to help me remember the difference?en. May 2010. URL:https://effectsizefaq.com/2010/05/31/i-always-get-confused-about-type-i-and-ii-errors-can-you-show-me-something-to-help-me-remember-the-difference/ (visited on03/19/2019).
tagesschau.de.DeutschlandTrend: Jeder Zweite findet Lebensmittel zu billig. de. URL:https://www.tagesschau.de/inland/deutschlandtrend-2085.html (visited on 02/10/2020).
34