regressionsanalyse in der Ökosystemmodellierung und paläoumweltrekonstruktion – ausgewählte...
TRANSCRIPT
Regressionsanalyse in der Ökosystemmodellierung und Paläoumweltrekonstruktion
– Ausgewählte Probleme aus der Praxis
Seminar für fortgeschrittene Studenten und Graduierte
Dr. Lars Kutzbach und Barnim Thees
WS 2007/08
Beispiel: Der „Hockey-Stick“ - Prominenz
Mann, M.E., R.S. Bradley, and M.K. Hughes, 1999: Northern Hemisphere Temperatures During the Past Millennium: Inferences, Uncertainties, and Limitations. Geophys. Res. Lett., 26, 759-762.
Beispiel: Der „Hockey-Stick“ - Kritik
Storch et al., 2004
Beispiel: Der „Hockey-Stick“ - Kritik
McIntyre and McKitrick, 2005
Beispiel: Der „Hockey-Stick“ - Prüfung
2006Report for the US Congress by the Committee on „Surface Temperature Reconstructions for the Last 2,000 Years“Board on Atmospheric Sciences and ClimateDivision on Earth and Life StudiesNational Research Council of the US National Academy of Science
2006Hearing of the Committee of Energy and Commerce of the U.S. House of Representatives
„Questions Surrounding the ‘Hockey Stick’ Temperature Studies: Implications for Climate Change Assessments“
„Wegmann-Report“: Ad Hoc Committee Report on the ‚Hockey Stick‘ Global Climate Reconstruction“
Der „Hockey-Stick“: Schlussfolgerungen
Eine wissenschaftlich und politisch wichtige Fragestellung wurde mit einer komplizierten statistischen Reressionsmethode bearbeitet.
Diese Methode wurde nicht vollkommen richtig durchdacht und leider FALSCH angewendet.
Es wurden unhaltbare Aussagen über das Paläoklima der letzten 1000 Jahre gemacht und an prominenter Stelle veröffentlicht (Nature, 1998; IPCC, 2001).
Die Studie hat die Arbeit der betreffenden Wissenschaftlter aber auch der Klimawissenschaft insgesamt sowie diedes IPCC in Misskredit gebracht.
Der „Hockey-Stick“: Schlussfolgerungen
Seminartermin Di, 20.11.07:
Zum Problem verrauschter Daten in Regressions-modellen (Überschätzung der Amplituden bei derMethode der kleinsten Quadrate der Residuen)
Seminarthemen
Themen:
1. Di, 06.11.07: Motivation: Brisanz von falsch angewendeten / nicht vollständig verstandenen Regressionsmethoden für die Ökosystemmodellierung und Paläoumweltrekonstruktion
2. Fr, 16.11.07: Was ist überhaupt ein Model? Modelltypen und Modellfehler aus Sicht der statistischen
Lerntheorie
3. Di, 20.11.07: Zum Problem verrauschter Daten in Regressions-Modellen (Unterschätzung der Amplituden bei der Methode der kleinsten Quadrate der Residuen)
4. Di, 27.11.07: Über die falsche Anwendung von r2 bei Kalibrierung
und Modellabsicherung (Beispiel Haubenmessungen von CH4- und CO2-Flüssen)
Seminarthemen
Themen:
5. Di, 04.12.07: Abbildende Modelle versus erklärende Modelle – Ein schrittweises Verfahren zur Reduktion eines multiplen linearen Regressionsmodells zu Bestimmung von signifikanten
unabhängigen Modellparametern
6. Di, 11.12.07: Zum Problem einer möglichen Zeitverschiebung zwischen Regressoren und Regressanden für Regressionsmodelleinsbesondere für die Paläoumweltrekonstruktion
7. Di, 18.12.07: Zeit für Vertiefungen nach Bedarf
________________________________________________Zu Termin 4. und 5. Übungen
2. Was sind überhaupt Modelle ?
• Klassische deterministische Modelle- analytische Modelle- numerische Modelle
• Statistische Modelle- rein abbildende Modelle- erklärende Modelle
• Kombinierte deterministisch-statistische Modelle- statistisch-optimierte deterministische Modelle (Grey Box)- Inverse Modelle- Model-Output-Statistics
Modellers and field researchers:Modellers and field researchers:…different ways of working and thinking…different ways of working and thinking
- simple-minded,
- ignorant of mathematics
- out of touch with reality
11
Empirische Daten –> Statistische Modelle
Deterministische Modelle
Kombinierte statistisch-deterministische Modelle
2. Was sind überhaupt Modelle ?
Abbildungsgüte von Modellen
Fehlermaße und statistische Tests
Vorhersagekraft von Modellen
Möglichkeit der Abschätzung über die statistische Lerntheorie
3. Verrauschte Daten und Amplitudenunterschätzung von Regressionsmodellen
Simulation zum Rauscheffekt auf die Amplitude des Regressionsmodels:Rein deterministische Sinus-Kurve plus künstliches weißes Rauschen (B. Thees)
3. Verrauschte Daten und Amplitudenunterschätzung von Regressionsmodellen
yx
yxxy
yx
xy
SN
SNSNSN
S
SSc
)1(2
))1((4))1()1((
2
222222
*
x
y
s
src Unkorrigierte Steigung:
Korrigierte Steigung:
Seminar: mathematische Herleitung dieser Korrekturformel
Die korrekte Steigung kann nur bei vollkommen rauschfreien x- und y- Werten mit der Methode der kleinsten Quadrate der Residuen bestimmt werden !
4. Die flache Anwendung von r2
4. Die falsche Anwendung von R2
0 20 40 60 80 100 120
335
340
345
350
355
360
365
370
375
0 20 40 60 80 100 120
340
345
350
355
360
365
370
0 20 40 60 80 100 120
395
400
405
410
415
420
0 20 40 60 80 100 120
395
400
405
0 20 40 60 80 100 120 140 160
365
370
375
380
385
0 20 40 60 80 100 120
348
350
352
354
A B
FE
DC
c(t) c(t)
c(t) c(t)
c(t) c(t)
t t
s s
ppmppm
ppm
ppm
ppm ppm
s s
s s
R2lin = 0.994 R2
exp = 0.998 PF(Vexp<Vlin) < 0.0001
fluxexp/fluxlin = 1.26
R2lin = 0.979 R2
exp = 0.992 PF(Vexp<Vlin) < 0.0001
fluxexp/fluxlin = 1.54
R2lin = 0.992 R2
exp = 0.9989 PF(Vexp<Vlin) < 0.0001
fluxexp/fluxlin = 1.34
4. Die falsche Anwendung von R2
0.2 0.4 0.6 0.8 1.0 1.2 ppm 1.60.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-0.6 -0.4 -0.2 0.0 0.2 0.40.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
95% percentile of s
yx B
syx
A
R2
fexp
'(t0)
R2
ppm s
R2 als Screening-Kriterium entfernt fälschlicherweise die niedrigen Flüsse, nicht die gestörten
4. Die falsche Anwendung von R2
-500
-400
-300
-200
-100
0
100
200
300
10:00 12:00 14:00 16:00 18:00 20:00 22:00 00:00 02:00 04:00 06:00
integral area F
net by f
lin'
integral area Fnet
by fexp
'
5 August
mg h-1m-2
4 August
Fnet
Effekt der ungeeigneten Anwendung linearer Regression auf die diurnale CO2-Bilanzierung: Fluxexp/Fluxlin = 1.5 !
4. Die falsche Anwendung von R2
• R2 ist ein Maß für die durch ein Modell erklärte Streuung von Daten.
• R2 allein ist jedoch kein geeignetes Maß um die Gültigkeit eines Modells zu beurteilen !
• R2 ist auch kein gutes Screening-Kriterium für Experimente hinsichtlich ihres Rauschens oder groben Störungen.
• Besser: RSME, Standardabweichung der Residuen, Reduktion der Varianz, Chi2-Tests, Akaike Information Criterion, F-Test zum Vergleich der Varianz der Residuen zweier Modelle, VC-Dimension
• Anwendung von als „abgesichert gedachter“ linearer Regression kann zu starken Verzerrungen von C-Fluss-Bilanzierungen führen!
4. Die falsche Anwendung von R2
Verschiedene Methoden:
1970er: Mikrometeorologische und Erntemethoden: Tundra C-Senke (keine lineare Regression involviert)
1980er: Haubemethode: Tundra C-Quelle (lineare Regression involviert)
Wie aussagekräftig ist eine solche Studie ???
5. Abbildende versus erklärende Modelle – Ein schrittweises Verfahren zur Reduktion eines multiplen linearen Regressionsmodells zur Bestimmung von signifikanten unabhängigen Modellparametern
Dimension des Modells: Radj, VC-Dimension
Multicollinearitäts-Test
t-Test ob Parameter signifikant <> 0
F-Test ob R2 > 0
Statistik der Residuen: Autokorrelation, Homoskedastizität, Normalverteilung?
Zeitverschiebungseffekte?
Nichtlineare Effekte?
pp xc...xcxccy 22110
5. Abbildende versus erklärende Modelle – Ein schrittweises Verfahren zur Reduktion eines multiplen linearen Regressionsmodells zur Bestimmung von signifikanten unabhängigen Modellparametern
6. Zum Problem einer möglichen Zeitverschiebung zwischen Regressoren und Regressanden für Regressionsmodelle insbesondere für die Paläoumweltrekonstruktion
7. Zeit für Vertiefungen nach Bedarf
Grundsätzliche Gedanken zum Schluss:
Am Anfang jeder Modellbildung sollten die Daten stehen, erst später sollten „vorgefertigte“ deterministische Ideen einbezogen werden.
Von „Kochbuch“-Statistik“ ist abzuraten.
Die theoretischen Grundvorraussetzungen der Regressionsanalyse sind nicht nebensächlich !
Falsch angewendete Statistik kann zu stark verzerrten
Ergebnissen führen.
Die Einarbeitung in die mathematischen Grundlagen der Regressionsmethoden erlaubt eine bessere Beurteilung eigener und fremder Forschungsergebnisse.
Literaturtipp:
C. Wunsch. 2007. Extremes, Patterns, and Other Structures in Oceanographic and Climate Records. Aha Hulika'a Hawaiin Winter Workshop on Extreme Events. In press.
“My eye is better than any statistical test.”Well-known paleoceanographer, circa 2001.
pdf here:
http://ocean.mit.edu/~cwunsch/papersonline/wunschaha2007.pdf
S. McIntyre 2007: http://www.climateaudit.org/?p=2245
IPCC, 2007: Box 6.4