Download - 12. Datan käsittely – lyhyt katsaus
HTTPK I, kevät 2009, luento 12 1
12. Datan käsittely – lyhyt katsaus
Havaitsevan tähtitieteen peruskurssi I,
luento 16.4.2009
Thomas Hackman
HTTPK I, kevät 2009, luento 12 2
12. Datan käsittely
Sisältö Tähtitieteellisten havaintojen virheet Korrelaatio Funktion sovitus Aikasarja-analyysi
HTTPK I, kevät 2009, luento 12 3
12.1 Tähtitieteellisten havaintojen virheet Satunnaiset virheet:
Kohina Mittaustarkkuus
Systemaattiset virheet: Havaintolaitteen aiheuttamat vääristymät Ympäristön aiheuttamat virheet (esim. ilmakehän
vaikutukset havaintoihin, käsiteltiin luvussa 2)
HTTPK I, kevät 2009, luento 12 4
12.1.1 Havaintojen kohina Signaali-kohinasuhde
jossa S on signaali = rekisteröityjen fotonien määrä, ja N on kohina
,/ SNS
Sama spektri eriS/N -suhteella
HTTPK I, kevät 2009, luento 12 5
12.1.2 Havaintolaitteen vaikutukset havaintoihin Aallonpituusherkkyys Resoluutio Laitteen sisäiset sironnat ja heijastumat Optiset virheet Havaintolaitteen liikkuminen Detektorin herkkyysvaihtelut (lämpötilan
vaikutus, pikselien herkkyydet …) ym.
HTTPK I, kevät 2009, luento 12 6
12.1.3 Havainnon mittaaminen Havaintolaitteen vaikutus havaintoihin
voidaan usein esittää muodossa
f ovat ”todelliset” arvot, g on havaintolaitteen antama tulos, h on instrumentin aiheuttama vääristymä ja n ovat satunnaiset virheet
)(')'()',()( xndxxfxxhxg
HTTPK I, kevät 2009, luento 12 7
12.1.4 Virheiden poistaminen
Kohinan voi suodattaa, mutta resoluutio kärsii Havaintolaitteen vääristymien korjaaminen
esim. flat-field -kalibrointi Huomattavasti poikkeavat arvot: outliers
root-mean-square:
jossa f on havaintoihin y sovitettava funktio. Outlierin kriteeri:
,))((1
1
2
n
iii xfy
nR
Rxfy ii 3)(
HTTPK I, kevät 2009, luento 12 8
12.1.4 Havaintojen redukointi Redukointi:
Poistetaan mahdollisimman paljon detektorin ja havaintomenetelmän aiheuttamia virheitä
Muutetaan havainnot analyysissa tarvittavaan muotoon
Esim. 2-uloitteinen CCD kuva spektri Huom. väärin tehty redukointi Menetetään
informaatiota tai vääristetään dataa Tarve määrittää mitä tehdään, esim.:
Parempi S/N huonompi resoluutio
HTTPK I, kevät 2009, luento 12 9
12.2 Korrelaatio
Korrelaatio kertoo kahden muuttajan välisestä riippuvuudesta
Korrelaatiokertoimia: Pearsonin korrelaatiokerroin Spearmanin järjestyskorrelaatiokerroin Kendallin järjestyskorrelaatiokerroin
HTTPK I, kevät 2009, luento 12 10
12.2.1 Pearsonin korrelaatiokerroin Mittaa lineaarista riippuvuutta
Otoksen hajonta: jossa x on keskiarvo
Kahden muuttujan välinen kovarianssi:
Pearsonin korrelaatiokerroin:
))((1
1
1
yyxxN
CN
iiixy
, )(1
1 2
1
xxN
sN
iix
yx
xyxy ss
Cr
HTTPK I, kevät 2009, luento 12 11
12.2.2 Korrelaation todennäköisyys Nollahypoteesi: x ja y eivät korreloi Oletetaan: x ja y:lle on saatu rxy
Mikä on nollahypoteesin todennäköisyys? Jos N on suuri (N>20) => rxy noudattaa
normaalijakaumaa Merkitään => todennäköisyys että korrelaatio ”sattumalta”
olisi suurempi kuin rxy:
2
Nra
xy
dtearrPa
txy
22
)(erfc
HTTPK I, kevät 2009, luento 12 12
12.3 Funktion sovitus
Sovituksen kriteeri yleensä mahdollisimman pieni virheiden neliöiden summa:
Sopii erityisesti, jos virheet ovat satunnaisia gaussisesti jakaantuneita
2
1
22 ))(ˆ( i
N
ii xyyR
HTTPK I, kevät 2009, luento 12 13
12.3.1 Pienimmän neliösumman menetelmä Sovitettava funktio:
Määritellään:
ovat pisteet johon sovitetaan funktio
,2
1
Ny
y
y
y
x)(x)(x)(ˆ 11 KKaay
,
)()()(
)()()(
)()()(
21
22221
11211
NKNN
K
K
xxx
xxx
xxx
A
Ka
a
a
2
1
a
),( ii yx
HTTPK I, kevät 2009, luento 12 14
12.3.1 Pienimmän neliösumman menetelmän ratkaisu Jos N=K saadaan yksiselitteinen ratkaisu
yhtälöstä A a = y Kuitenkin jotta sovitus olisi luotettava niin
Etsimme ratkaisua jossa on mahdollisimman pieni => ratkaisu saadaan normaaliyhtälöistä:
yAAaA TT
iii xyyKN )(ˆ
HTTPK I, kevät 2009, luento 12 15
12.3.2 Suoran sovitus Sovitettava funktio
b
abxaxy a)(ˆ
ja
1
1
1
22
1
ii
iT
N
xx
xN
x
x
x
AAA
2 sekä ii
iT
ii
iT
xbxa
xbaN
yx
yAaAyA
HTTPK I, kevät 2009, luento 12 16
12.3.3 Ratkaisu suoran sovitukseen Saamme ratkaisun yhtälöryhmästä
Merkitään ratkaisu:
iixyixxiyix
xyxxx
yx
yxSxSySxS
SbSaS
SbSaN
, , ,
2
D
SSNSb
D
SSSSa yxxyxyxyxx
,
2)( xxx SNSD
HTTPK I, kevät 2009, luento 12 17
12.3.4 Virheiden huomioiminen pns:n sovituksessa Mittausten hajontaa kuvaa
yleisessä tapauksessa kovarianssimatriisi:
Jos virheet riippumattomia:
NNNN
N
N
21
22221
11211
2
22
21
00
00
00
N
2
22
21
1
100
010
001
N
HTTPK I, kevät 2009, luento 12 18
12.3.4 Virheiden huomioiminen pns:n sovituksessa Normaaliyhtälöt saadaan muotoon
Merkitään Ratkaisu on
Kertoimien ai virheet saadaan matriisista C-1
yAAaA 11 TT
yAdAAC 11 TT ja
dCa 1
1 iia Ci
HTTPK I, kevät 2009, luento 12 19
12.3.4 Epälineaarinen sovitus Esitetyllä pienimmän neliösumman
menetelmällä voidaan ratkaista vain lineaarisia ongelmia
Epälineaaristen ongelmien ratkaisuja Ongelman muuttaminen lineaariseen muotoon
Esim. Tarkkaan ottaen ei kuitenkaan enää saada alkuperäisen
funktion parametreille pns:n sovitusta Erilaiset optimointimenetelmät
Eivät välttämättä anna globaalia minimiä vaan lokaali minimi
bxaxfaexf bx ln)(ln)(
HTTPK I, kevät 2009, luento 12 20
12.4 Aikasarja-analyysi
Parametriset menetelmät: Sovitetaan dataan jaksollinen funktio Esim. Fourier sarjan sovitus
Ei-parametriset menetelmät: Etsitään periodisuutta esim. datan maksimeista tai
minimeistä Esim. Kuiper- tai Swanepoel & De Beer -
menetelmät
HTTPK I, kevät 2009, luento 12 21
12.4.1 Fourier-sarjan sovitus Malli:
Huom.: Malli on epälineaarinen => ratkaisua ei saada suoraan pienimmän neliösumman menetelmällä
Ratkaisumenetelmä: Three stage period analysis (Jetsu & Pelt 1999)
.parametritt ovat vapaa 1
ja ,, jossa
, )2sin()2cos()(1
PfCBM
ftkCftkBMtg
kk
k
K
kk
keskiarvo periodi
HTTPK I, kevät 2009, luento 12 22
12.4.2 Esimerkki aikasarja-analyysista Tähden HD 199178 valokäyrä, 3.3 dP
Aikasarja-analyysi
HTTPK I, kevät 2009, luento 12 23
12.4.3 Jaksollisen käyrän sovittaminen:Tähti-planeettajärjestelmä Sisärata: M=7.7 MJup ; ulkorata: M=17MJup
Marcy et al., 1999, 2001
HTTPK I, kevät 2009, luento 12 24
Kirjallisuutta
H. Karttunen: Datan käsittely, CSC 1994 W.H. Press et al.: Numerical recipes, kotisivu:
http://www.nr.com