lassi roininen - tty/matematiikan laitosmath.tut.fi/julkaisut/pdf/di_lassi_roininen.pdf ·...

TAMPEREEN TEKNILLINEN YLIOPISTOTEKNIS-LUONNONTIETEELLINEN OSASTO

Lassi Roininen

Diskretointiriippumattomien priorien käyttöBayesin regularisoinnissa

Diplomityö

AIHE HYVÄKSYTTY TEKNIS–LUONNON-TIETEELLISEN OSASTONEUVOSTON KO-KOUKSESSA 7. TOUKOKUUTA 2003

Tarkastajat: prof. Robert Piché, TTYprof. Markku Lehtinen, SGO

Alkusanat

Tämä diplomityö on tehty Tampereen teknillisen yliopiston matematiikan laitok-sella ja Sodankylän geofysiikan observatoriossa vuoden 2003 aikana. Kyseessä onsimulaatiopohjainen tutkielma inversio-ongelmien regularisoinnista. Työssä jou-duin käsittelemään niin puhtaasti matemaattisia ongelmia, kuin ratkomaan käy-tännön fysikaalisia esimerkkejäkin. Työn koossa pitäminen vaatikin huomattavastienemmän tekemistä ja karsintaa kuin olin ennalta olettanut.

Diplomityön ei mielestäni tule olla maailmaa mullistava. Sen tulee kuitenkinviedä tutkittavaa asiaa jäntevästi pykälällä eteenpäin. Sen enempää sen ei tarvitseolla. Toivon onnistuneeni tehtävässäni.

Haluaisin kiittää ohjaajiani professori Robert Pichéä Tampereen teknillisen yli-opiston matematiikan laitokselta diplomityön rahoituksesta ja ohjauksesta, sekätutkimusprofessori Markku Lehtistä Sodankylän geofysiikan observatoriosta vaa-tivasta aiheesta ja ohjauksesta. Lisäksi haluaisin kiittää Markku Markkasta, Os-mo Kalevaa, Eero Saksmania ja Mika Mastia valaisevista keskusteluista ja avustadiplomityön teossa. Samoin haluan kiittää Tampereen teknillisen yliopiston mate-matiikan laitoksen ja Sodankylän geofysiikan observatorion koko henkilökuntaamukavasta työilmapiiristä. Lopuksi haluaisin kiittää vanhempiani ja sukulaisianidiplomityön ja koko opiskelujeni aikaisesta avusta.

Tampereella 3.11.2003

Lassi RoininenInsinöörinkatu 32 a 933720 Tamperepuh. 040 7311 308sähköposti: [email protected]

2

Sisältö

Tiivistelmä 5

Abstract 6

Symbolit ja lyhenteet 7

1 Johdanto 8

2 Inversio-ongelmat 102.1 Ensimmäisen lajin Fredholmin yhtälön ratkaisusta . . . . . . . . . 102.2 Inversioratkaisun hakeminen . . . . . . . . . . . . . . . . . . . . 12

2.2.1 Ehdollisen jakauman ominaisuuksista . . . . . . . . . . . 142.2.2 Tuntemattoman funktion mallinnus . . . . . . . . . . . . 15

3 Priorifunktiot 173.1 Normaalijakautuneiden satunnaislukujen näytteistäminen . . . . . 173.2 Priorifunktioita . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.3 Diskretointiriippumattomat priorit . . . . . . . . . . . . . . . . . 23

3.3.1 Näytteiden riippumattomuus . . . . . . . . . . . . . . . . 293.3.2 Diskretointiriippumattomuus Tihonovin menetelmässä . . 30

3.4 Priorien näytteistäminen . . . . . . . . . . . . . . . . . . . . . . 31

4 Estimointi 354.1 Teoria ja simulointi . . . . . . . . . . . . . . . . . . . . . . . . . 354.2 Regularisointiparametrin tulkinta . . . . . . . . . . . . . . . . . 374.3 Tulokset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

5 Numeerinen derivointi 595.1 Differentiointi integraaliyhtälöillä . . . . . . . . . . . . . . . . . 595.2 Simulointi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615.3 Tulokset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3

4 SISÄLTÖ

6 Interferometrin spektriresoluutio 866.1 Teoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866.2 Simulointi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 876.3 Tulokset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

7 Kuvan terävöittäminen 1027.1 Simulointi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1027.2 Tulokset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

8 Magnetostaattinen kuvantaminen 1098.1 Suora teoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1108.2 Simulointi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1108.3 Tulokset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

9 Yhteenveto 117

Kirjallisuutta 119

Tiivistelmä

TAMPEREEN TEKNILLINEN YLIOPISTOTeknis-luonnontieteellinen koulutusohjelmaMatematiikan laitosRoininen, Lassi: Diskretointiriippumattomien priorien käyttö Bayesin regulari-soinnissaDiplomityö, 121 sivuaTarkastajat: prof. Robert Piché, Tampereen teknillinen yliopisto

prof. Markku Lehtinen, Sodankylän geofysiikan observatorioTeknis-luonnontieteellinen osastoMarraskuu 2003

Tilastollisissa inversiomenetelmissä inversioratkaisuna pidetään posteriorijakau-maa. Posteriorijakauman konstruoinnissa käytetään priorijakaumaa, joka takaa riit-tävän voimakkaan regularisaation.

Muunnettaessa tuntemattomien diskretointia on vaara, että posteriorijakaumanmuoto muuttuu. Tässä työssä käytettävillä priorijakaumilla saadaan posteriori-jakauma pysymään saman muotoisena diskretointia muunnettaessa. Tätä kutsu-taan diskretointiriippumattomuudeksi ja käytettyjä priorijakaumia diskretointiriip-pumattomiksi prioreiksi.

Diskretointiriippumattomuuden tarkkaa matemaattista määritelmää ei ole ole-massa, eikä siihen tässä työssä pyritä. Tässä työssä diskretointiriippumattomuuttatarkastellaan useilla numeerisilla simulaatioilla. Diskretointiriippumattomuutta ja-riippuvuutta perustellaan heuristisin menetelmin. Tuloksena on, että usein diskre-tointiriippumattomuus toimii, mutta ei aina. Mitkä ovat ne ehdot jolloin diskretoin-tiriippumattomuus toimii ovat jatkoselvitysten kohteena.

Diskretointiriippumattomia prioreita on käytetty useissa lähteissä ennen tätätyötä. Kuitenkaan yhtään kokoavaa työtä ei olla tehty. Osaltaan tämän työn tar-koituksena onkin koota eri lähteissä oleva tieto ja muodostaa asiasta yhtenäinenkokonaisuus.

5

Abstract

TAMPERE UNIVERSITY OF TECHNOLOGYDegree program in engineering scienceInstitute of MathematicsRoininen, Lassi: Using Discretization Independent Priors in Bayesian Regulariza-tionMaster of Science Thesis, 121 pagesExaminers: prof. Robert Piché, Tampere University of Technology

prof. Markku Lehtinen, Sodankylä Geophysical ObservatoryDepartment of Science and EngineeringNovember 2003

In statistical inverse methods the inverse solution is a posterior distribution. In con-struction of the posterior distribution a prior distribution is used, which guaranteesstrong enough regularization.

When the discretization of the unknowns is changed there is a danger that theform of the posterior distribution changes. With the prior distributions used in thisthesis we can preserve the form of the posterior distribution when the discretizationchanges. This is called discretization independence and the prior distributions arecalled discretization independent priors.

There is no exact definition for discretization independence, nor are we lookingfor it. In this thesis we study discretization independence and dependence withheuristic methods. As a result we found that discretization independence works, butnot always. What the conditions are when the discretization independence worksneeds to be discussed in later works.

Discretization independent priors have been used in various publications beforethis work, however there has been no overview. The purpose of this thesis is partlyto collect information from different sources and to form a compact depiction.

6

Symbolit ja lyhenteet

CCD-kamera Charge-coupled device –kameraengl. Englanniksig(x), g(xi) Mittauksetf(y), f(yi) Tuntematonfmap Maksimi a posteriori –estimaattiK(x, y), A Suora teoria ja siitä muodostettu teoriamatriisiε Valkoinen kohinaD TodennäköisyystiheysDp PosterioritiheysDpr Prioritiheysdiag(·, . . . , ·) Diagonaalimatriisimin(t1, t2) Pienempi reaaliluvuista t1 ja t2H(x − y) Heavisiden askelfunktioδ(x − y) Diracin deltadistribuutioN(µ,Σ) n-ulotteinen normaalijakauma, odotusarvona µ ja

kovarianssina Σ

E(·) OdotusarvoE(·, ·) KovarianssiΣreg RegularisointikovarianssiCreg Regularisointikovarianssin käänteismatriisin

Cholesky-hajotelma Σ−1reg = CT

regCreg

Areg RegularisointimatriisiWs Wienerin prosessiWs Valkoisen kohinan prosessi (Wienerin prosessin

derivaattaprosessi distribuutiomielessä)C−T Matriisin transpoosin inverssi

(

CT)−1

7

Luku 1

Johdanto

Tämä diplomityö on simulaatiopohjainen tutkielma inversio-ongelmien regulari-soinnista. Inversio- eli käänteisissä ongelmissa on tarkoitus ratkaista tuntematonepäsuorasti mitatusta datasta. Useat inversio-ongelmat ovat epästabiileja. Niidenratkaisu vaatii regularisointia, jolla pystytään takaamaan ratkaisun yksikäsitteisyys.Samalla ratkaisun herkkyys virhetermeille – kuten kohinalle – voidaan poistaa.

Regularisointimenetelmiä on useita. Klassiset menetelmät perustuvat usein op-timointialgoritmeihin. Tässä työssä inversio-ongelmia käsitellään tilastollisen in-versioteorian avulla. Tilastollisessa päättelyssä käytetään bayesilaista tilastotiedet-tä. Vastaavasti kyseistä regularisointia kutsutaan tässä työssä Bayesin regularisoin-niksi.

Klassisissa regularisointimenetelmissä tuntemattoman diskretointi vaikuttaasuoraan regularisointiin. Toisin sanoen diskretoinnin teko on osa regularisointia.Tilastollisessa inversioteoriassa inversioratkaisuna pidetään posteriorijakaumaa.Sen konstruoinnissa käytetään priorijakaumaa, joka takaa riittävän voimakkaan re-gularisaation. Tässä työssä käytettävissä priorijakaumissa otetaan huomioon tunte-mattoman diskretointi. Tällöin diskretointia voidaan muuttaa ja posteriorijakaumapysyy saman muotoisena. Ominaisuutta kutsutaan diskretointiriippumattomuudek-si ja käytettäviä priorijakaumia diskretointiriippumattomiksi prioreiksi.

Diskretointiriippumattomien priorien käytöstä löytyy tietoa useista lähteistä[3], [10], [16], [17], [31]. Lähde [16] keskittyy asian tarkkaan matemaattiseenkäsittelyyn. Siihen ei tämän työn puitteissa pyritä. Tässä työssä pyritään läh-teiden [3], [10], [17], [31] pohjalta kokoamaan asiasta yhtenäinen kokonaisuus.Painopiste on diskretointiriippumattomuuden tutkimisella useiden numeeristen esi-merkkien avulla. Lisäksi diskretointiriippumattomat priorit pyritään perustelemaanmahdollisimman tarkasti. Diskretointiriippumattomuuden tarkkaa määritelmää eiole olemassa, eikä siihen tässä työssä pyritä. Diskretointiriippumattomuutta ja -riippuvuutta perustellaan heuristisin menetelmin.

Työ on jaettu yhdeksään lukuun. Luku 1 on johdatus aiheeseen ja työn yleinenesittely.

8

9

Luvussa 2 käsitellään lineaaristen inversio-ongelmien ratkaisua. Ratkaisuna pi-detään posteriorijakaumaa. Lisäksi tarkastellaan tuntemattoman parametrisointia.

Luku 3 sisältää diplomityön tärkeimmän osuuden, eli diskretointiriippumatto-mat priorit. Tässä työssä käsiteltävät priorit saadaan yksiulotteisissa tapauksissaWienerin prosessin, Wienerin prosessin integraalien ja valkoisen kohinan diskree-tin version avulla varmistaen, että rajalla ne vastaavat jatkuvia prosesseja. Useam-piulotteisissa tapauksissa käytetään valkoista kohinaa ja Wienerin prosessin yleis-tystä. Yleistystä kutsutaan tässä työssä Greenin prioriksi. Lisäksi kyseisiä prioreitanäytteistetään muutamissa yksinkertaisissa tapauksissa.

Luvut 4-8 ovat sovellusosuuksia. Niissä tarkastellaan kuinka kappaleissa 2 ja3 esitelty teoria toimii käytännössä. Sovellukset sisältävät funktion estimoinnin jaderivoinnin, dekonvoluutiotehtäviä ja magnetostaattisen kuvantamisen esimerkin.

Luku 9 on yhteenveto menetelmien käytöstä ja saaduista tuloksista. Lisäksitarkastellaan mahdollisuuksia jatkotutkimukseen.

Luku 2

Inversio-ongelmat

Inversio-ongelmissa on tarkoitus ratkaista tuntematon epäsuorasti mitatusta datas-ta. Tässä luvussa esiteltävillä menetelmillä voidaan numeerisesti ratkaista inversio-ongelmia äärellisulotteisissa euklidisissa avaruuksissa äärellisulotteisten matrii-siapproksimaatioiden avulla. Tarkoituksena ei ole näyttää inversio-ongelmien rat-kaisujen olemassaoloa, yksikäsitteisyyttä eikä etsiä ratkaisun eksplisiittistä muo-toa.

Inversio-ongelmien numeerinen ratkaiseminen on huonosti asetettu tehtäväHadamardin mielessä [11]. Tämä tarkoittaa, että yksi tai useampi seuraavista eh-doista ei täyty.

1. Ratkaisua ei ole olemassa.

2. Ratkaisu ei ole yksikäsitteinen.

3. Pienet virheet mittauksissa aiheuttavat suuria virheitä ratkaisussa.

Inversio-ongelmissa törmätään käytännössä kahteen jälkimmäiseen ongelmaan.Ensimmäiseen ongelmaan voidaan törmätä esimerkiksi, jos mallinnus on tehty vää-rin. Kaikki kolme ongelmaa voidaan kiertää käyttämällä regularisointia [7]. Useim-min käytetyt regularisointimenetelmät perustuvat optimointialgoritmeihin. Tässätyössä inversio-ongelmia ratkotaan tilastollisen inversioteorian avulla. Kyseisestäregularisoinnista käytetään usein nimitystä Bayesin regularisointi. Samaa nimitys-tä käytetään tässäkin työssä.

2.1 Ensimmäisen lajin Fredholmin yhtälön ratkaisusta

Useissa fysikaalisissa ongelmissa, kuten kaukokartoituksessa, joudutaan ratkaise-maan tuntematon epäsuorasti mitatusta datasta. Mittauksen g(x) ja tuntemattomanf(y) suhde, eli suora ongelma voidaan määritellä usein Fredholmin ensimmäisen

10

2.1. ENSIMMÄISEN LAJIN FREDHOLMIN YHTÄLÖN RATKAISUSTA 11

lajin integraaliyhtälön avulla

g(x) =

∫ b

a

K(x, y)f(y)dy, x ∈ [a, b]. (2.1)

Inversio-ongelmana on ratkaista f(y), kun integraaliydin K(x, y) ja mittausfunk-tio g(x) tunnetaan. Integraaliytimen K(x, y) oletetaan olevan paloittain jatkuva,derivoituva ja deterministinen funktio. Fredholmin yhtälön voi ymmärtää fysikaa-liseksi systeemiksi, jonka ulostulo ja siirtofunktio tunnetaan.

Kaikissa fysikaalisissa mittauksissa esiintyy kohinaa. Tässä työssä kohina mal-linnetaan additiivisena valkoisena normaalijakautuneena kohinana ε(x). Kohinai-nen Fredholmin yhtälö voidaan kirjoittaa muodossa

g(x) =

∫ b

a

K(x, y)f(y)dy + ε(x), ε(x) ∼ N(0, σ2), x ∈ [a, b]. (2.2)

Kohinamallin ei välttämättä tarvitse olla valkoinen normaalijakautunut kohina. Onkuitenkin helpompaa käyttää sitä, sillä siten tilastollisen inversioteorian maksimi aposteriori –estimaatti ja klassinen Tihonovin menetelmä ovat numeriikan kannaltasamat. Tähän palataan lähemmin seuraavassa kappaleessa.

Haettaessa numeerista ratkaisua, on Fredholmin yhtälö diskretoitava. Vali-taan yksinkertaisuuden vuoksi integrointirajoiksi [0, 1]. Se voidaan tehdä yleisyyttäloukkaamatta, sillä takaisin mielivaltaiselle välille [a, b] päästään muuttujan vaih-doksella. Diskretoitu Fredholmin yhtälö voidaan tällöin kirjoittaa muodossa

g(xi) =

∫ 1

0K(xi, y)f(y)dy + ε(xi)

≈∑

j∈I2

wjK(xi, yj)f(yj) + ε(xi). (2.3)

Indeksointijoukot ovat

i ∈ I1 = 1, 2, . . . , n, (2.4)

j ∈ I2 = 1, 2, . . . ,m. (2.5)

Kertoimet wj ja muuttujien x ja y diskretoinnit xi ja yj valitaan halutun kvadratuu-rimenetelmän mukaan. Tässä työssä käytetään keskipistekvadratuuria. Siinä muut-tujat x ja y diskretoidaan seuraavasti

xi =

(

i − 1

2

)

1

n, i ∈ I1, (2.6)

yj =

(

j − 1

2

)

1

m, j ∈ I2. (2.7)

Painokertoimet wj ovat diskretointivälin h = yj+1 − yj = 1m

suuruisia.

12 LUKU 2. INVERSIO-ONGELMAT

Merkitsemällä Aij = hK(xi, yj), voidaan kohinaisen Fredholmin yhtälön 2.2äärellisulotteinen matriisiapproksimaatio kirjoittaa muodossa

g = Af + ε. (2.8)

Matriisia A kutsutaan teoriaksi. Koska kohinainen Fredholmin yhtälö 2.2 ja senapproksimaatio 2.8 ovat lineaarikuvauksia, niin ongelmaa kutsutaan lineaariseksiinversio-ongelmaksi.

2.2 Inversioratkaisun hakeminen

Olkoon Ω todennäköisyysavaruus ja f : Ω → Rn ja g : Ω → R

m satunnaismuut-tujia. Oletetaan, että niiden yhteisjakaumalla on todennäköisyystiheys

D(f, g) : Rn × R

m → R. (2.9)

Yhteisjakauma voidaan kirjoittaa ehdollisen todennäköisyystiheyden D(g|f) avul-la muodossa

D(f, g) = Dpr(f)D(g|f). (2.10)

Tiheyttä Dpr(f) kutsutaan muuttujan f prioritiheydeksi.Tilastollisessa inversioteoriassa inversioratkaisu on tuntemattoman f ehdolli-

nen todennäköisyys, kun mittaus g tunnetaan.

Dp(f) = D(f |g) =D(f, g)

∫

Rn D(f, g)df

∝ Dpr(f)D(g|f) (2.11)

Integraali voidaan usein jättää pois, sillä se on pelkkä verrannollisuuskerroin. In-versioratkaisua Dp kutsutaan posterioritodennäköisyydeksi.

Tilastollisessa inversioteoriassa inversioratkaisuna pidetään koko posteriorija-kaumaa. Tuntematon f on usein monikomponenttinen vektori. Tällöin koko pos-teriorijakauman visualisointi on mahdotonta. Usein tyydytäänkin pelkästään piste-estimaatteihin ja luottamusvälien laskentaan. Tässä työssä piste-estimaattina käy-tetään posterioritiheyden maksimia. Sitä kutsutaan maksimi a posteriori –estimaa-tiksi. Lisäksi työssä lasketaan näytteitä posteriorijakaumasta. On huomattavaa, ettäposteriorijakauman näytettä voidaan pitää tämän formalismin ehdoilla yhtä hyvinratkaisuna kuin maksimi a posteriori –estimaattiakin.

Posterioritiheyden laskennan vaikeutena on priorijakauman määrittäminen.Tutkittavasta ilmiöstä ei aina ole tarjolla tarpeeksi informaatiota. Tällöin usein käy-tetään prioria, jota osataan käyttää, vaikka se ei kuvaisi tutkittavaa ilmiötä hyvin.Tämä voi johtaa esimerkiksi liian vahvojen priorien käyttöön.

2.2. INVERSIORATKAISUN HAKEMINEN 13

Haetaan seuraavaksi Fredholmin yhtälön approksimaatiolle 2.8 maksimi a pos-teriori –estimaatti. Fredholmin yhtälön approksimaatio kirjoitetaan muodossa

g = Af + ε, ε ∼ N(0,Σ). (2.12)

Oletetaan satunnaismuuttujan f ja kohinan ε olevan toisistaan tilastollisesti riippu-mattomia. Tarkastelemalla muuttujaa g −Af ∼ N(0,Σ) ja esittämällä se normaa-lijakauman avulla saadaan

D(g|f) ∝ exp

(

−1

2(g − Af)T Σ−1(g − Af)

)

. (2.13)

Tässä työssä satunnaismuuttujan f priorijakauman oletetaan olevan Gibbsin jakau-man muotoinen

Dpr(f) ∝ exp

(

−1

2U(f)

)

, U(f) > 0. (2.14)

Funktiota U(f) kutsutaan sakkofunktioksi. Tällöin posteriorijakaumaksi 2.11 tulee

Dp(f) ∝ exp

(

−1

2U(f) − 1

2(g − Af)T Σ−1(g − Af)

)

. (2.15)

Posterioritiheyden maksimi saadaan, kun minimoidaan posterioritiheyden argu-menttia

fmap = arg minf

U(f) + (g − Af)T Σ−1(g − Af)

. (2.16)

Tämän yhtälön ratkaisua kutsutaan maksimi a posteriori –estimaatiksi (map-estimaatti). Ratkaisun hakeminen voidaan tehdä analyyttisessa muodossa. Merki-tään nyt kovarianssimatriisin käänteismatriisin Cholesky-hajotelmaa Σ−1 = CTC .

Tässä työssä sakkofunktiona käytetään neliöllistä muotoa

U(f) ≈(

Aregf)T

Σ−1regAregf (2.17)

Regularisointikovarianssin Σreg oletetaan olevan diagonaalinen. Tällöin sen kään-teismatriisi on

Σ−1reg = diag(σ−2

1 , . . . , σ−2n ) = CT

regCreg. (2.18)

Täten sakkofunktio voidaan kirjoittaa muodossa

U(f) ≈n∑

i=1

(

1

σiAreg

if

)2

=∥

∥CregAregf∥

∥

2 (2.19)


Tällöin maksimi a posteriori –estimaatiksi saadaan

fmap = arg minf

U(f) + (g − Af)T CTC(g − Af)

= arg minf

‖CregAregf‖2 + ‖C(g − Af)‖2

.

= arg minf

∥

∥

∥

∥

(

C(g − Af)

CregAregf

)∥

∥

∥

∥

2

= arg minf

∥

∥

∥

∥

(

CA

CregAreg

)

f −(

Cg

0

)∥

∥

∥

∥

2

(2.20)

Ensimmäisen matriisin sarakeaste on täysi. Täten voidaan kirjoittaa seuraavasti.(

CA

CregAreg

)T (CA

CregAreg

)

fmap =

(

CA

CregAreg

)T (Cg

0

)

⇔(

AT CT CA + ATregC

TregCregAreg

)

fmap = AT CTCg

⇔ fmap =(

AT Σ−1A + ATregΣ

−1regAreg

)−1AT Σ−1g (2.21)

Viimeistä kaavaa 2.21 kutsutaan inversiokaavaksi ja sen antamaa ratkaisua maksi-mi a posteriori –estimaatiksi.

On huomattavaa, että maksimi a posteriori –estimaatin laskenta on lineaariku-vaus

(

AT Σ−1A + ATregΣ

−1regAreg

)−1AT Σ−1 : R

m → Rn. (2.22)

Lineaarikuvauksen ratkaisuavaruuden dimensio ei voi kasvaa suuremmaksi kuinmittausavaruuden, eli dim(Rn) ≤ dim(Rm). Tämä ominaisuus rajoittaa ratkaisunkantafunktioiden määrää korkeintaan samaksi kuin mittauspisteiden lukumäärän.Tämä on otettava huomioon ratkaisuja analysoitaessa.

Kaava 2.21 on numeriikan kannalta sama kuin standardi Tihonovin menetel-män ratkaisukaava. Tihonovin menetelmä perustuu deterministiseen inversioon.Siinä etsitään ratkaisua optimointiongelmalle

minf∈Rn

‖C(Af − g)‖2 + U(f)

. (2.23)

Optimointiongelman minimiksi saadaan kaava 2.21. Tilastollisen inversioteo-rian käyttöä voidaan perustella sen monipuolisuudella. Maksimi a posteriori –estimaatin lisäksi voidaan tarkastella koko jakaumaa, luottamusvälejä ja varians-seja. Niille ei ole selkeätä vastinetta optimointitehtävänä.

2.2.1 Ehdollisen jakauman ominaisuuksista

Tässä kappaleessa tarkastellaan ehdollisen todennäköisyyden D(g|f) kovarianssinominaisuuksia. Tarkoituksena on etsiä jakauman muoto sen singulaariarvojen avul-la sekä etsiä lineaarisen inversioteorian vastine häiriöalttiusluvulle (engl. conditionnumber).

2.2. INVERSIORATKAISUN HAKEMINEN 15

Ehdollisen jakauman kovarianssi on(

AT Σ−1A)−1. Tarkastellaan sen ominai-

suuksia, kun kohina on valkoista normaalijakautunutta kohinaa. Tällöin kohinankovarianssi on Σ = σ2I , jossa I on identiteettimatriisi.

Esitetään kovarianssi teoriamatriisin singulaariarvohajotelman avulla. Matrii-sin A ∈ R

n×m singulaariarvohajotelma on

A = USV T , U ∈ Rn×n, S ∈ R

n×m, V ∈ Rm×m. (2.24)

Matriisit U ja V ovat ortogonaalisia. Niille pätee UU T = I ja V V T = I . MatriisiS on diagonaalimatriisi, jonka alkioina on matriisin A singulaariarvot λi. MatriisiS kirjoitetaan muodossa

S = diag(λ1, . . . , λr), r = min(m,n), λ1 ≥ · · · ≥ λr (2.25)

Tällöin kovarianssiksi saadaan singulaariarvohajotelman avulla

(

AT Σ−1A)−1

= σ2(

AT A)−1

= σ2(

(

USV T)T

USV)−1

= σ2(

V ST UT USV T)−1

= σ2(

V ST SV T)−1

= σ2(

V diag(λ21, . . . , λ

2n, 0, . . . , 0)V T

)−1(2.26)

Kovarianssin ominaisarvojen neliöjuuret vastaavat jakauman leveyttä vastaavienominaisvektorien suunnassa. Täten jakaumien leveydet ovat suoraan verrannollisiateoriamatriisin ominaisarvojen käänteislukuihin.

Ratkaistaessa lineaarista inversio-ongelmaa, niin sen ratkaisun herkkyyttä mit-tauksien häiriöille voidaan mitata häiriöalttiusluvulla. Se määritellään

κ(A) = ‖A‖‖A†‖ =λ1

λn

, κ ∈ [1,∞). (2.27)

Merkinnällä A† tarkoitetaan matriisin A pseudoinverssiä. Tilastollisessa inversio-teoriassa häiriöalttiusluku tulee tulkita ehdollisen jakauman D(g|f) suurimman japienimmän leveyden suhteeksi.

2.2.2 Tuntemattoman funktion mallinnus

Yksiulotteisessa inversio-ongelmassa on tarkoitus ratkaista tuntematon funktiof(y), jossa f : R → R. Muuttujan y ja funktion f numeeriset arvot voivat ollaepäkäytännöllisen suuria tai pieniä. Tällöin on vaikea esittää visuaalisesti eri pa-rametrien - kuten regularisointikovarianssin - yhteyttä diskretoituun ja regularisoi-tuun ratkaisuun.

Muuttuja y ja funktio f tulee muuttaa dimensiottomiksi ja skaalata kunnol-la. Dimensiottomien suureiden koon tulisi olla ykkösen luokkaa, ei positiivisia tainegatiivisia kymmenpotensseja. Tällöin vältytään samalla mallinnuksen kannalta


epäoleellisilta ongelmilta tietokoneen rajoitetun numeroesityksen kanssa. Toisaal-ta on hyvä tapa muuttaa suureet dimensiottomiksi ennen numeerista työä.

Funktio f voidaan normeerata tekijällä C ja muuttujalle y voidaan tehdä muun-nos y = by. Tällöin muunnettu dimensioton suure määritellään seuraavasti

f(y) =1

Cf

(

y

b

)

. (2.28)

Luku 3

Priorifunktiot

Tämän luvun tarkoituksena on esitellä diskretointiriippumattomat priorit ja niidenkäyttö regularisoinnissa. Pääpaino on priorien johdonmukaisella valinnalla ja dis-kretointiriippumattomattomuuden esittämisessä. Koska priorit ovat jakaumia, niintarkastellaan myös niiden realisaatioita yksi- ja kaksiulotteisissa tapauksissa. Tä-tä varten joudutaan käsittelemään myös normaalijakautuneiden satunnaislukujennäytteistämistä.

Jos priorit koottaisiin suoraan funktioarvoisista gaussin prosesseista, niin prio-rit olisivat automaattisesti diskretointiriippumattomia. Käytännössä se johtaisi täy-siin kovarianssimatriiseihin. Tämä asettaa laskennallisia rajoituksia kaikilla jär-kevän kokoisilla inversioratkaisuilla. Tämän takia tyydytään optimointimenetel-mätyyppisiin diagonaalisiin kovarianssimatriiseihin. Tällöin on ongelmana kuinkakonstruoida diagonaalinen kovarianssimatriisi, jonka avulla päästään diskretointi-riippumattomuuteen.

3.1 Normaalijakautuneiden satunnaislukujen näytteistä-minen

Normaalijakautuneen muuttujan f priorijakauma voidaan määritellä esimerkiksiseuraavalla yhtälöllä

g = Aregf + ε, ε ∼ N(

0, diag(

σ21 , . . . , σ

2n

))

= N(0,Σreg). (3.1)

Priorijakauma määritellään tässä työssä edellisellä yhtälöllä, jotta se olisi analogi-nen oikean mittauksen kanssa. Matriisin Areg ja vektorin g voidaan kuvitella tar-koittavan lisämittaustietoa tuntemattomasta f . Matriisin Areg sarakeasteen olete-taan olevan täysi. Tämä takaa sen, että yhtälö 3.1 määrittelee normittuvan toden-näköisyysjakauman. Samalla se takaa myös sen, että regularisaatio on tarpeeksivoimakas. Tällöin posteriorijakaumalla on yksikäsitteinen keskipiste. Todellisessa

17

18 LUKU 3. PRIORIFUNKTIOT

posteriorijakauman laskennassa ei matriisin Areg sarakeasteen tarvitse olla täysi,sillä oikeat mittaukset takaavat yksikäsitteisen keskipisteen olemassaolon.

Kovarianssimatriisi Σreg voidaan kirjoittaa Cholesky-hajotelman avulla muo-toon Σreg = CregC

Treg. Tällöin yhtälö 3.1 voidaan kirjoittaa ekvivalentissa muodos-

sa

g = Aregf + Cregε, ε ∼ N(0, I)

⇔ N(0, I) ∼ C−1reg(

g − Aregf)

(3.2)

Priorimuuttujan jakauma voidaan kirjoittaa nyt muodossa

Dpr(f) = exp

(

−1

2

(

Creg(

g − Aregf))T

Creg(

g − Aregf)

)

= exp

(

−1

2

(

g − Aregf)T

Σ−1reg(

g − Aregf)

)

= exp

(

−1

2

(

gT Σ−1regg −

(

Aregf)T

Σ−1regg − gT Σ−1

regAregf + . . .

. . .(

Aregf)T

Σ−1regAregf

)

)

Tarkoituksena on nyt etsiä ratkaisu täydentämällä viimeisin muoto neliöksi priori-muuttujan suhteen. Merkitään yksinkertaisuuden vuoksi Q = AT

regΣ−1regAreg.

Dpr(f) = exp

(

−1

2

(

gT Σ−1regg − fT QQ−1AT

regΣ−1regg − gT Σ−1

regAregQQ−1f + . . .

. . . fTQf +(

Q−1ATregΣ

−1regg)T

QQ−1ATregΣ

−1regg − . . .

. . .(

Q−1ATregΣ

−1regg)T

QQ−1ATregΣ

−1regg

)

)

= exp

(

−1

2

(

(

f − Q−1AregΣ−1regg)T

Q(

f − Q−1AregΣ−1regg)

+ . . .

. . . gT Σ−1regg −

(

Q−1ATregΣ

−1regg)T

QQ−1ATregΣ

−1regg

)

)

= exp

(

−1

2

(

(

f − f)T

Q(

f − f)

+ gT Σ−1regg − fT Qf

))

Täten keskipiste-estimaatti on

f = Q−1ATregΣ

−1regg (3.3)

ja kovarianssimatriisi

Q−1 =(

ATregΣ

−1regAreg

)−1. (3.4)

3.1. NORMAALIJAKAUTUNEIDENSATUNNAISLUKUJEN NÄYTTEISTÄMINEN 19

Satunnaislukujen näytteistys jakaumasta N(f , Q−1) saadaan tekemällä kaksivai-heinen kuvaus N(0, I) → N(0, Q−1) → N(f , Q−1). Jälkimmäinen kuvaus saa-daan siirtämällä näytteistetyt satunnaisluvut keskipisteen f ympärille. Se voidaantehdä, sillä kovarianssimatriisi on translaatioinvariantti. Ensimmäinen kuvaus saa-daan ratkaisemalla yhtälö

C−1reg Aregf = ε, ε ∼ N(0, I). (3.5)

Tämä yhtälö 3.5 voidaan ratkaista esimerkiksi QR-hajotelmalla käyttäen Givensinrotaatioita. Givensin rotaatio on matriisi muotoa

Gij =

1. . .

1

cos(γ) 0 . . . 0 sin(γ)

0 1 0...

. . ....

0 1 0

− sin(γ) 0 . . . 0 cos(γ)

1. . .

1

(3.6)

Givensin rotaatiolla kertominen on kulman γ rotaatio ij-koordinaattitasossa mit-tausavaruudessa [30]. Kertominen Givensin rotaatioilla muuttaa myös mittausta.Täten on näytettävä, että jakauma N(0, I) pysyy vakiona. Todistus tehdään induk-tiolla. Arvolla n = 1 väite pitää triviaalisti paikkansa. Arvolla n = k saadaan

Σk = E(εk, εk) = E(Gkεk−1, Gkεk−1)

= GkE(εk−1, εk−1)GTk = GkIGT

k = I.

QR-hajotelmaksi saadaan

Gn . . . G1C−1A = R ⇔ C−1A = GT

1 . . . GTnR. (3.7)

f voidaan ratkaista takaisinsijoituksella, sillä R on yläkolmiomatriisi. Lopullinenjakauma saadaan, kun siirretään näytteistetyt satunnaisluvut jakauman keskipisteenf ympärille.

Täten on näytetty kuinka näytteistetään jakauman N(f , Q−1) satunnaislukujanormaalijakaumasta N(0, 1).

Käytännön simuloinnissa edellä esitetty algoritmi voidaan toteuttaa esimerkik-si Matlabilla. Matlab ei käytä Givensin rotaatioita, vaan Householderin matriise-ja QR-hajotelman teossa. Tulos on kuitenkin sama. Ongelma muodostuu silloin,


kun teoriamatriisi on suuri ja harva. Matlab tallentaa tällöin muistiinsa koko mat-riisin GT

1 . . . GTn . Sen sijaan, mikäli käytetään Givensin rotaatioita, niin pelkkien

rotaatioiden säilyttäminen muistissa riittää. Tällä tavalla säästytään muistin tuhlaa-miselta. Givensin rotaatioilla toteutettu algoritmi on toteutettu esimerkiksi Gulipsohjelmistossa [30].

On huomattavaa, että tässä kappaleessa esitettyä algoritmia voidaan käyttäämyös posteriorijakauman 2.11 näytteistämisessä.

3.2 Priorifunktioita

Tässä kappaleessa esitellään usein käytettyjä differenssiregularisointimatriiseita janäytetään kuinka niistä saadaan jakaumia. Differenssiregularisointi tarkoittaa mit-tausta

g − A(k)reg f ∼ N

(

0, diag(

σ21 , . . . σ

2n

))

= N(0,Σ), k = 0, 1, 2, . . . (3.8)

k tarkoittaa differenssin kertalukua. Kovarianssimatriisi Σ tulee valita a priori –tiedon perusteella. Seuraavassa kappaleessa 3.3 tarkastellaan kuinka kovarianssissatulee ottaa diskretointi huomioon, jotta saataisiin diskretointiriippumattomat prio-rit.

Nollannen kertaluvun priori tarkoittaa, että priorimuuttuja fi rajoitetaan jonkunennalta tiedetyn arvon fi ympärille.

fi = fi + εi, εi ∼ N(0, σ2i ). (3.9)

Nollannen kertaluvun regularisointimatriisi on tällöin identiteettimatriisi A(0)reg = I .

Matriisimuodossa edellinen yhtälö 3.9 voidaan tällöin sanoa seuraavasti

f − f ∼ N(

0, diag(

σ21, . . . σ

2n

))

(3.10)

Ensimmäisen kertaluvun priorissa sanotaan, että vierekkäisten arvojen erotus ei voiolla suuri

fi − fi−1 ∼ N(0, σ2i ). (3.11)

Sama matriisimuodossa on

A(1)reg f =

1 −1

1 −1. . . . . .

1 −1

f ∼ N(0, diag(σ21 , . . . , σ

2n−1)) (3.12)

Koska differenssimatriisin A(1)reg sarakeaste ei ole täysi, niin yhtälö 3.12 ei määritte-

le todellista jakaumaa. Lisäämällä riittävä määrä reunaehtoja saadaan differenssi-matriisin sarakeaste täydeksi. Ensimmäisen kertaluvun priorissa tämä voidaan teh-dä asettamalla vasen tai oikea reuna johonkin prioristi tiedettyyn arvoon f . Tässä

3.2. PRIORIFUNKTIOITA 21

työssä reunaehto annetaan asettamalla vasen reuna nollaan. Tällöin seuraava yhtälömäärittelee normittuvan todennäköisyysjakauman

1

1 −1

1 −1. . . . . .

1 −1

f ∼ N(0, diag(σ21 , . . . , σ

2n)) (3.13)

Toisen kertaluvun priorissa rajoitetaan differenssiä

xi+1 − 2xi − xi−1 ∼ N(0, σ2i ) (3.14)

Toisin sanoen toisen kertaluvun priorissa rajoitetaan ensimmäistä derivaattaa. Mat-riisimuodossa se voidaan kirjoittaa

A(2)reg f =

−1 2 −1

−1 2 −1. . . . . . . . .

−1 2 −1

f

∼ N(0, diag(σ21 , . . . , σ

2n−2)) (3.15)

Samoin kuin ensimmäisen kertaluvun tapauksessa, niin myös tässä tapauksessamatriisin A

(2)reg sarakeaste ei ole täysi. Toisen kertaluvun tapauksessa voidaan antaa

reunaehdot myös asettamalla jommalla kummalla reunalla ensimmäinen derivaattanollaksi. Tässä työssä reunaehdot annetaan asettamalla vasemman reunan arvo jaensimmäinen derivaatta nollaksi. Tällöin normittuvan jakauman määrittelee yhtälö

1

1 −1

−1 2 −1

−1 2 −1. . . . . . . . .

−1 2 −1

f ∼ N(0, diag(σ21 , . . . , σ

2n)) (3.16)

Yleistys korkeamman kertaluvun prioreihin saadaan korkeammista differens-seistä. Niistä saadaan jakaumia antamalla reunaehdot samoin kuin ensimmäisenja toisen kertaluvun priorissa. Niihin ei tässä työssä tämän enempää puututa, silläniiden käyttö regularisoinnissa on erittäin harvinaista.

Useampiulotteisissa prioreissa otetaan huomioon regularisointi jokaisen koor-dinaatin suuntaan. Lisäksi on otettava huomioon riittävä määrä reunaehtoja.

Tarkastellaan seuraavaksi kaksiulotteista tapausta. Tässä työssä reunaehdot an-netaan asettamalla pelkästään reunan arvot nollaksi ensimmäisen ja toisen kerta-luvun regularisoinnissa. Nollannen kertaluvun regularisoinnissa reunaehdoista ei


tarvitse välittää, sillä kerroinmatriisi on identiteettimatriisi. Määritellään ensim-mäiseksi muuttujan fi indeksointi n×n-hilassa seuraavasti

f1 fn+1 . . . fn(n−1)+1

f2 fn+2 . . . fn(n−1)+2...

.... . .

...fn f2n . . . fn2

Tarkastellaan ensimmäisen kertaluvun tapausta. Otetaan käyttöön merkintöjä hel-pottava Kroneckerin matriisitulo. Kroneckerin matriisitulo ⊗ määritellään seuraa-vasti

A ⊗ B =

a11B a12B . . . a1nB

a21B a22B . . . a2nB...

.... . .

...am1B am2 . . . amnB

(3.17)

On helppo huomata, että pystysuuntaan saadaan samanlainen regularisointimatriisikuin yksiulotteisessakin ollut A

(1)reg oli. Ainoa ero on, että erotusta fan − fan+1,

a = 1, 2, . . . n − 1 ei tarvitse ottaa huomioon. Täten Kroneckerin matriisitulonja matriisin A

(1)reg avulla lausuttuna pystysuunnan regularisointi saadaan muotoon

In ⊗ A(1)reg .

Vaakasuunnan regularisointimatriisit saadaan erotuksista fi − fi+n, i =

1, 2, . . . , n(n − 1). On helppo huomata, että kirjoittamalla A(1)reg ⊗ In saadaan vaa-

kasuunnan regularisointimatriisit.Tässä työssä käytettävän indeksointimenetelmän huonona puolena on reunaeh-

tojen näyttämisen vaikeus. Tarkoituksena on asettaa reunat nollaksi. Vasen ja oikeareuna voidaan asettaa nollaksi esimerkiksi seuraavan matriisin 3.18 avulla.

(

1 0 . . . 0

0 . . . 0 1

)

⊗ In (3.18)

In on n × n identiteettimatriisi. Ensimmäisen matriisin leveys on puolestaan n.Vastaavasti ylä- ja alareuna saadaan asetettua seuraavan matriisin 3.19 avulla

nollaksi.

In ⊗(

1 0 . . . 0

0 . . . 0 1

)

(3.19)

Ongelmaksi tulee nyt, että kulmapisteet f1, fn, fn(n−1)+1, fn2 on asetettu nollaksisekä yhtälössä 3.18 että yhtälössä 3.19. Ottamalla kulmapisteet pois esimerkiksiyhtälöstä 3.19 saadaan lopulliset reunaehdot

( 0n−2 In−2 0n−2 ) ⊗(

1 0 . . . 0

0 . . . 0 1

)

(3.20)

3.3. DISKRETOINTIRIIPPUMATTOMAT PRIORIT 23

0n−2 on n − 2 alkioinen nollavektori. Täten ensimmäisen kertaluvun kaksiulottei-seksi regularisointimatriisiksi, jolla on reunaehdot saadaan

A(1)reg =

In ⊗ A(1)reg

A(1)reg ⊗ In

(

1 0 . . . 0

0 . . . 0 1

)

⊗ In

( 0n−2 In−2 0n−2 ) ⊗(

1 0 . . . 0

0 . . . 0 1

)

(3.21)

Kaksiulotteinen toisen kertaluvun regularisointimatriisi saadaan vastaavalla taval-la.

A(2)reg =

In ⊗ A(2)reg

A(2)reg ⊗ In

(

1 0 . . . 0

0 . . . 0 1

)

⊗ In

( 0n−2 In−2 0n−2 ) ⊗(

1 0 . . . 0

0 . . . 0 1

)

(3.22)

3.3 Diskretointiriippumattomat priorit

Kun tuntemattoman diskretointia muutetaan on vaara, että posteriorijakaumanmuoto muuttuu. Tässä kappaleessa esiteltävissä prioreissa otetaan huomioon tunte-mattoman diskretointi. Tällöin diskretointia voidaan muuttaa ja posteriorijakaumapysyy saman muotoisena. Ominaisuutta kutsutaan diskretointiriippumattomuudek-si ja käytettäviä priorijakaumia diskretointiriippumattomiksi prioreiksi.

Diskretointiriippumattomat priorit kootaan yksiulotteisissa tapauksissa Wiene-rin prosessista, Wienerin prosessin integraaleista ja valkoisesta kohinasta. Niis-tä muodostetaan diskreetit versiot. Diskretointiriippumattomiksi priorit oletetaan,kun diskreetit prosessit lähestyvät jatkuvia rajalla. Useampiulotteisissa tapauksis-sa priorit saadaan Wienerin prosessin yleistyksestä ja sen integraaleista. Yleistystäkutsutaan tässä työssä Greenin prioriksi. Lisäksi nollannen kertaluvun priori kon-struoidaan useampiulotteisesta valkoisesta kohinasta.

Johdetaan seuraavaksi nollannen ja ensimmäisen kertaluvun diskretointiriippu-mattomat priorit yksi- ja moniulotteisissa tapauksissa sekä toisen kertaluvun prioriyksiulotteisessa tapauksessa.

Ensimmäisen kertaluvun priorin oletetaan olevan näytteitä diskretoidusta Wie-nerin prosessista. Määritelmän mukaan stokastinen prosessi Wt, t ∈ [0,∞) onWienerin prosessi [14], mikäli

1. W0 = 0,


2. prosessi on riippumattomien lisäysten prosessi ja sillä on stationääriset li-säykset,

3. jokaisella t > 0, Wt noudattaa jakaumaa N(0, σ2t).

Wienerin prosessista käytetään joskus nimitystä Brownin liike. Wienerin prosession Gaussin prosessi. Kaikki Gaussin prosessit, joiden odotusarvo on nolla, voidaanmääritellä kokonaisuudessaan kovarianssifunktion avulla.

Diskretointiriippumattomien priorien johdossa kovarianssit lasketaan yleistet-tyjen stokastisten prosessien teorian avulla. Stokastisten prosessien teoriasta tiede-tään Wienerin prosessin kovarianssin olevan [14]∫ s′

0

∫ t′

0g(t)g(s)E(WtWs)dtds =

∫ s′

0

∫ t′

0g(t)g(s)σ2 min(t, s)dtds (3.23)

Funktio g on testifunktio. Esittämällä kovarianssifunktio testifunktioiden avulla,voidaan derivoituvien stokastisten prosesien joukkoa laajentaa suuremmaksi. Ky-seistä joukkoa kutsutaan yleistetyiksi stokastisiksi prosesseiksi. Tätä ominaisuuttatarvitaan esimerkiksi laskettaessa valkoisen kohinan prosessin kovarianssia, jokaon Diracin deltadistribuutio.

Wienerin prosessia voidaan käsitellä ilman yleistettyjen stokastisten prosessienteoriaa. Tässä työssä sitä käsitellään kuitenkin yleistettynä stokastisena prosessina,jotta Wienerin prosessin yleistys Greenin priori voitaisiin helpommin laskea.

Diskreettiaikaisen Wienerin prosessin, eli satunnaispolun (engl. random walk)kovarianssi saadaan korvaamalla jatkuvan tapauksen integraalit 3.23 Riemanninsummilla. Tällöin diskreetin Wienerin prosessin kovarianssi on

h2n∑

i=1

m∑

j=1

gigjE(WiWj) = h2n∑

i=1

m∑

j=1

gigj min(n,m)σ2,

= h2n∑

i=1

m∑

j=1

gigjmin(t, s)

hσ2 (3.24)

Diskreetin Wienerin prosessin täytyy lähestyä rajalla h → 0+ jatkuvaa prosessia.Tällöin kovarianssiksi saadaan

∫ s′

0

∫ t′

0g(t)g(s)

min(t, s)

hσ2dtds. (3.25)

Jotta edellä oleva diskreetin Wienerin prosessin kovarianssi 3.25 vastaisi jatkuvaatapausta 3.23, on vaadittava

σ2 = hσ2. (3.26)

Täten ensimmäisen kertaluvun diskretointiriippumattomaksi prioriksi saadaan

∆fi = fi − fi−1 ∼ N(0, hσ2) (3.27)


Nollannen kertaluvun priori vastaa valkoista kohinaa. Jatkuvassa tapauksessase määritellään Diracin deltadistribuution δ(t − s) avulla.∫ s′

0

∫ t′

0g(t)g(s)E

(

WtWs

)

dtds =

∫ s′

0

∫ t′

0g(t)g(s)σ2δ(t − s)dtds (3.28)

Merkinnällä Wt tarkoitetaan Wienerin prosessin derivaattaa. Wienerin prosessi eiole derivoituva prosessi. On kuitenkin näytetty, että distribuutiomielessä valkoinenkohina on Wienerin prosessin derivaattaprosessi [9]. Diracin delta määritellään di-stribuutiomielessä seuraavasti

δ(t − s) = 0, t 6= s∫ ∞

−∞

g(t)δ(t − s)dt = g(s) (3.29)

On huomattavaa, että Diracin deltafunktio on tavallaan normeerattu, sillä∫ ∞

−∞

δ(t − s)dt = 1. (3.30)

Diskreetissä tapauksessa valkoinen kohina määritellään Riemannin summana [33]

∫ s′

0

∫ t′

0g(t)g(s)E

(

WtWs

)

dtds = E

(

∫ s′

0g(s)Wsds

)2

≈ E

(

h

n∑

i=1

Wigi

)2

= E

(

Wi

)2h

n∑

i=1

hg2i

Annettaessa prosessin mennä rajalle h → 0+ saadaan

E

(

Wi

)2h

∫ s′

0g(s)ds

= E

(

Wi

)2∫ s′

0

∫ t′

0g(t)g(s)hδ(t − s)dtds (3.31)

Täten diskretoidun valkoisen kohinan kovarianssi on hδ(t − s). Jotta saatu tulosvastaisi jatkuvaa tapausta on vaadittava

E

(

W i)2

=σ2

h(3.32)

Priorina diskreetti valkoinen kohina vastaa nollannen kertaluvun prioria. Se voi-daan kirjoittaa ekvivalentisti muodossa

fi ∼ N

(

0,σ2

h

)

. (3.33)


Luonnollisestikin valkoinen kohina voidaan siirtää jonkun ennalta tunnetun keski-pisteen fi ympärille.

fi = fi + εi, εi ∼ N

(

0,σ2

h

)

(3.34)

Siirrytään seuraavaksi tarkastelemaan nollannen kertaluvun prioria n-ulottei-sessa avaruudessa. Priori vastaa n-ulotteista valkoista kohinaa. Olkoon

t = (t1, . . . , tn)T , t′ = (t′1, . . . , t′n)T

s = (s1, . . . , sn)T , s′ = (s′1, . . . , s′n)T

Tällöin valkoinen kohina voidaan määritellä seuraavasti∫ s′

0

∫ t′

0g(t)g(s)E(WtWs)dtds =

∫ t′

0

∫ s′

0g(t)g(s)σ2δ (t − s) dtds

=

∫ t′

0

∫ s′

0g(t)g(s)

n∏

k=1

σ2kδ (tk − sk) dtds

=n∏

k=1

∫ s′k

0

∫ t′k

0g(tk)g(sk)σ2

kδ(tk − sk)dtkdsk

Integraali vastaa nyt täysin yksiulotteista tapausta. Täten diskreetti tapaus voidaankirjoittaa Riemannin summina

n∏

k=1

E

(

∫ s′k

0g(sk)Wsds

)2

≈n∏

k=1

E

(

hk

m∑

i=1

Wkigi

)2

=

n∏

k=1

E

(

Wki

)2hk

m∑

i=1

hkg2i

Annettaessa approksimaation mennä rajalle hk → 0+,∀k = 1, . . . , n, saadaandiskreetin tapauksen kovarianssiksi

∫ s′

0

∫ t′

0g(s)g(t)

n∏

k=1

hkδ(tk − sk)E(

Wsk

)2dtds (3.35)

Jotta diskreetti tapaus vastaisi jatkuvaa rajalla, on valittava

E

(

Wsk

)2=

σ2k

hk

. (3.36)

Täten koko diskreetissä tapauksessa on valittava

E

(

Ws

)2=

σ2

∏nk=1 hk

. (3.37)


n-ulotteinen nollannen kertaluvun diskretointiriippumaton priori voidaan sanoa nytmuodossa

fi = fi + εi, εi ∼ N

(

0,σ2

∏nk=1 hk

)

. (3.38)

Ensimmäisen kertaluvun priori vastaa yksiulotteisessa tapauksessa näytteitäWienerin prosessista. Yleistettynä Wienerin prosessina ei käytetä tässä työssä pe-rinteisesti määriteltyjä prosesseja. Yleistys määritellään niin kutsuttuna Greeninpriorina [31]. Sen kovarianssi määritellään seuraavasti

∫ s′

0

∫ t′

0g(s)g(t)E (WtWs) dtds

=

∫ s′

0

∫ t′

0g(s)g(t)

n∑

i=1

min(ti, si)n∏

k=1,k 6=i

δ (tk − sk)

dtds (3.39)

Prioria kutsutaan Greenin prioriksi, sillä kovarianssi vastaa Greenin funktiota yh-dessä pisteessä [33]. Koska prosessi on jokaiseen koordinaattisuuntaan i riippuma-ton toisista koordinaattisuunnista, niin yhden koordinaattisuunnan tarkastelu riit-tää. Jatkuvan tapauksen kovarianssi suuntaan 1 on

∫ s′

0

∫ t′

0g(s)g(t)E (Wt1Ws1

) dtds

=

∫ s′

0

∫ t′

0g(s)g(t)min(t1, s1)

n∏

k=2

δ (tk − sk) dtds

Diskreetissä tapauksessa integraalit korvataan jälleen Riemannin summilla

E

(

∫ s′

0g(s)Ws1

ds

)2

≈ E

n∏

k=1

hk

nk∑

ik=1

gikWi1

2

= E

(

h1

n1∑

i1=1

gi1Wi1

)2 n∏

k=2

hk

nk∑

ik=1

hkg2ik

= σ2h21

n1∑

i1

m1∑

j1

ggmin(t, s)

h1

n∏

k=2

hk

nk∑

ik=1

hkg2ik

≈∫ s′

1

0

∫ t′1

0g(s1)g(t1)σ

2 min(t, s)

h1dt1ds1

n∏

k=2

∫ s′k

0hkg2(sk)dsk

=

∫ s′

0

∫ t′

0g(s)g(t)σ2

∏nk=2 hk

h1min(t1, s1)

n∏

k=2

δ(tk − sk)dtds (3.40)


Jotta tilanne vastaisi jatkuvaa tapausta rajalla hk → 0+,∀k = 1, . . . , n, on valittava

σ2 = σ2 h1∏n

k=2 hk

(3.41)

Täten toisen kertaluvun priori suuntaan 1 voidaan kirjoittaa ekvivalentisti muodos-sa

fi − fi−1 ∼ N

(

0, σ2 h1∏n

k=2 hk

)

(3.42)

Muihin koordinaattisuuntiin saadaan priorit vastaavalla tavalla. On huomattavaa,että jos ratkaistaan inversio-ongelmaa kahdessa ulottuvuudessa ja diskretointejapidetään molempiin koordinaattisuuntiin samanlaisina, niin h-termit häviävät.

Toisen kertaluvun priori vastaa Wienerin prosessin integraaliprosessia

yt =

∫ t

0Wsds (3.43)

Stokastisten prosessien teoriasta tiedetään, että normaalijakautunut integraalipro-sessi voidaan määritellä täysin kovarianssifunktion integraalin avulla. Täten jatku-vassa tapauksessa

E(ytys) =

∫ t

0

∫ s

0E(Ws′Wt′)ds′dt′ =

∫ t

0

∫ s

0min(t′, s′)ds′dt′

=

t2

2 sσ2 , s′ > t′

s2

2 tσ2 , s′ < t′(3.44)

Diskreetissä tapauksessa saadaan

E(yiyj) =

n∑

i=1

m∑

j=1

E(WiWj) =

n∑

i=1

m∑

j=1

σ2 min(m,n)

=1

h2

n∑

i=1

m∑

j=1

h2σ2 min(t′, s′)

h

=

∫ t

0

∫ s

0σ2 min(t′, s′)

h3ds′dt′ (3.45)

Jotta tilanne vastaisi jatkuvaa tapausta, on valittava

σ2 = h3σ2 (3.46)

Täten toisen kertaluvun priori voidaan sanoa muodossa

fi+1 − 2fi + fi−1 ∼ N(0, σ2h3) (3.47)

Yleistys useampaan ulottuvuuteen sekä korkeampiin kertalukuihin jätetään jatko-tutkimuksia varten. Voi olla mahdollista, että yleistys voidaan kirjoittaa muodossa[31]

N(0, σ2h2k−d) (3.48)

jossa k tarkoittaa differenssin kertalukua ja d ulottuvuuksien lukumäärää.


3.3.1 Näytteiden riippumattomuus

On huomattavaa, että edellä esitetyt diskretointiriippumattomat priorit toimivat täy-dellisesti, jos näytteistykset ovat toisistaan riippumattomia [33]. Käytännössä neeivät ole riippumattomia muuta kuin pienimmillä ulottuvuuksilla ja kertaluvuilla.Tämä ei välttämättä aiheuta ongemia regularisoinnissa, mutta voi joissain erikois-tapauksissa aiheuttaa sekaannusta. Tämä voitaisiin kiertää muuttamalla prosessienkovarianssistruktuuria, jolloin saataisiin täydellinen diskretointiriippumattomuus.Tämä saattaisi kuitenkin johtaa monimutkaisiin kovarianssistruktuureihin. Tässätyössä oletetaan pelkästään, että esitellyt priorit toimivat approksimatiivisesti dis-kretointiriippumattomasti.

Käytännössä yhdessä ulottuvuudessa nollannen ja ensimmäisen kertaluvunpriorien näytteistykset ovat toisistaan riippumattomia. Sen sijaan toisen kertalu-vun näytteistykset eivät ole toisistaan riippumattomia. Tarkastetaan asia varmuu-den vuoksi. Idea tähän todistukseen on lähteestä [32]. Jotta toisen kertaluvun näyt-teet olisivat toisistaan riippumattomia, niin pitäisi päteä

∆2yn ⊥ ∆2yn′ , jos |n − n′| ≥ 2 (3.49)

Voidaan kuitenkin näyttää, ettei ole olemassa gaussin prosessia y, jolle kyseinenpätee. Idea tähän todistukseen on lähteestä [32]. Valitaan kaksi näytteistystä, jois-ta ensimmäiselle diskretointiväli h = 1 ja toiselle h = 2. Tällöin ensimmäinennäytteistys voidaan kirjoittaa seuraavasti

yn = ny1 − (n − 1)y0 +

n−1∑

i=1

(n − i)εi, ε ∼ N(0, 1) (3.50)

Voidaan todistaa induktiolla, että kyseinen tulos pätee. Arvolla n = 2 saadaan

y2 = 2y1 − y0 + ε1 ⇔ y2 − 2y1 − y0 = ε1 (3.51)

Arvolla n = k + 1 saadaan

yk+1 = 2yk − yk−1 + εk

= 2

(

ky1 − (k − 1)y0 +k−1∑

i=1

(k − i)εi

)

− . . .

. . .

(

(k − 1)y1 − (k − 2)y0 +k−2∑

i=1

(k − 1 − i)εi

)

+ εk

= (k + 1)y1 − ky0 +

k∑

i=1

(k + 1 − i)εi (3.52)

Toisella diskretoinnilla h = 2 saadaan

∆2yn = yn+2 − 2yn + yn−2 = εn+1 + 2εn + εn−1 (3.53)


Esimerkiksi, kun n = 2, niin saadaan

∆2y2 = y4 − 2y2 + y0

= (4y1 − 3y0 + 3ε1 + 2ε − 2 + ε3) − 2 (2y1 − y0 + ε1) + y0

= ε1 + 2ε2 + ε3 (3.54)

Vastaavasti saadaan, kun n = 4

∆2y4 = y6 − 2y4 + y2 = ε3 + 2ε4 + ε5 (3.55)

Täten nähdään, että

E(∆2y2,∆2y4) = E(ε3, ε3) = 1 (3.56)

Täten on näytetty, että vierekkäisillä pisteillä on kovarianssistruktuuria keskenään.Kuten alussa sanottiin, niin tämä ei välttämättä aiheuta ongelmia diskretointiriip-pumattomuudessa, mutta yllättävissä paikoissa voi ongelmiin törmätä.

3.3.2 Diskretointiriippumattomuus Tihonovin menetelmässä

Diskretointiriippumattomat regularisointimatriisit on mahdollista myös konstruoi-da deterministisillä menetelmillä. Teoria esitellään kahdesta syystä.

1. Maksimi a posteriori –estimaatti on numeriikan kannalta sama kuin standar-di Tihonovin menetelmä. Siksi molemmissa täytyy päästä samanlaisiin re-gularisointimatriiseihin. Samalla saadaan stokastisten prosessien kautta joh-detulle teorialle deterministinen vastine.

2. Diskretointiriippumattomien regularisointimatriisien johto ei vaadi stokas-tisten prosessien teorian omaamista. Johtoa pystyy seuraamaan determinis-ten menetelmien parissa työskentelevätkin.

Yleistetyssä Tihonovin menetelmässä minimoidaan funktiota

minf∈Rn

‖Af − g‖2 + αJ2(f)

. (3.57)

J(f) on sakkofunktio. Differenssiregularisoinnissa se on derivaatan L2 ([0, 1]) –normi.

J(f) =

(

∫ 1

0

(

∂kf(x)

∂xk

)2

dx

) 1

2

≈(

h

n∑

i=k+1

(

h−k(

A(k)reg f

)

i

)2) 1

2

=

(

n∑

i=k+1

((

h1

2−kA

(k)reg f

)

i

)2)

1

2

(3.58)

Diskretointiväli h = 1n

. Jos peruspostulaatiksi oletetaan, että L2 –normin diskre-toinnista saatava regularisointimatriisi on diskretointiriippumaton, niin nähdään,että h

1

2−kA

(k)reg on samanlainen matriisi, kuin edellisessä kappaleessa esitellyt yk-

siulotteiset tapaukset.

3.4. PRIORIEN NÄYTTEISTÄMINEN 31

3.4 Priorien näytteistäminen

Kuvissa 3.1, 3.2, 3.3, 3.4, 3.5 ja 3.6 on näytteistetty priorijakaumia yhdessä ja kah-dessa ulottuvuudessa nollannen, ensimmäisen ja toisen kertaluvun differenssimat-riiseilla. Lisäksi on käytetty reunaehtoja, jotka esitettiin kappaleessa 3.2.

Prioreita näytteistetään, jotta saataisiin intuitio priorien käyttäytymisestä. Tä-mä helpottaa oikean priorin valintaa regularisointia varten. Kuvista 3.1 ja 3.2 näh-dään, että nollannen kertaluvun priorissa arvot pyörivät nollan ympärillä. Tätennähdään, että priorissa sanotaan ainoastaan kuinka paljon arvot saavat erota nollas-ta. Luonnollisestikin arvot voitaisiin asettaa jonkun prioristi tunnetun arvon ympä-rille.

Kuvissa 3.3 ja 3.4 on näytteistetty ensimmäisen kertaluvun prioria. Peräkkäisetarvot eivät selvästikään poikkea toisistaan kovinkaan paljoa. Näytteistys ei kuiten-kaan ole kovin tasainen, joten priori sallii vielä melko nopean arvojen muuttumi-sen. Kuvissa 3.5 ja 3.6 on näytteistetty toisen kertaluvun prioria. Kuvasta nähdään,että näytteistys on erittäin tasainen. Samalla nähdään, että arvot voivat saavuttaanopeasti hyvinkin suuria arvoja. Tämä johtuu siitä, että priorissa rajoitetaan deri-vaattaa, ei arvoja kuten nollannen ja ensimmäisen kertaluvun regularisoinnissa.

Kuvista nähdään myös, että priorin kertaluvun kasvaessa näytteistykset ovatyhä tasaisempia. Täten käytettäessä korkeamman kertaluvun prioria posteriorija-kauman laskennassa tulokset ovat tasaisempia ja koherenssi kasvaa.


50 100 150 200

−2

−1

0

1

2

PSfrag replacements

f

Kuva 3.1: Näyte nollannen kertaluvun yksiulotteisesta priorista. Priorimuuttuja f

on määritelty 200-paikkaisessa vektorissa.

−4 −2 0 2 4

Kuva 3.2: Näyte nollannen kertaluvun kaksiulotteisesta priorista. Priorimuuttuja f

on määritelty 200 × 200-hilassa.

3.4. PRIORIEN NÄYTTEISTÄMINEN 33

50 100 150 200

−6

0

6

12

x

PSfrag replacements

f

Kuva 3.3: Näyte ensimmäisen kertaluvun yksiulotteisesta priorista. Priorimuuttujaf on määritelty 200-paikkaisessa vektorissa.

−2 0 2

Kuva 3.4: Näyte ensimmäisen kertaluvun kaksiulotteisesta priorista. Priorimuuttu-ja f on määritelty 200 × 200-hilassa.


50 100 150 200

−250

0

250

x

PSfrag replacements

f

Kuva 3.5: Näyte toisen kertaluvun yksiulotteisesta priorista. Priorimuuttuja f onmääritelty 200-paikkaisessa vektorissa.

−20 0 20

Kuva 3.6: Näyte toisen kertaluvun kaksiulotteisesta priorista. Priorimuuttuja f onmääritelty 200 × 200-hilassa.

Luku 4

Estimointi

Tässä luvussa tarkastellaan funktion estimointia sen kohinaisesta näytteistyksestä.Kyseessä on hyvin yksinkertainen inversio-ongelma. Sen avulla saadaan kuitenkinerittäin helposti tietoa diskretointiriippumattomien priorien käytöstä, sillä tulostenanalysoinnin tiellä ei ole monimutkaisia teoriafunktioita.

4.1 Teoria ja simulointi

Estimoinnissa alkuperäisestä funktiosta f(x) tunnetaan näytteistetyt arvot g(xi)

ja jonkunlainen kohinastatistiikka. Jos tuntemattoman, eli alkuperäisen funktiondiskretointi on esimerkiksi tiheämpi kuin mittauksien, on ongelmana kuinka esittääkaikki pisteet tuntemattomasta. On selkeää, että mittausten kohdalla pätee

g(xi) = f(xi) + εi, εi ∼ N(0, σ2). (4.1)

Muiden pisteiden kohdalla ei voida tehdä minkäänlaisia oletuksia. Tällöin voidaanolettaa regularisoinnin hoitavan muiden pisteiden estimoinnin. Täten edellinen yh-tälö 4.1. määrää koko estimointitehtävän. Estimointitehtävän teoriamatriisi koos-tuu täten sarakkeista, joissa kaikki tai kaikki paitsi yksi alkio ovat nollia. On huo-mattavaa, että teoriamatriisia ei ole konstruoitu jatkuvasta funktiosta.

Tarkastellaan seuraavan funktion 4.2 estimointia välillä x ∈ [0, 10].

f(x) =

exp(4) exp(

− 25x(5−x)

)

, x ∈ (0, 5)

x − 7 , x ∈ [7, 8)

−x + 9 , x ∈ [8, 9)

0 , muulloin

(4.2)

Ensimmäinen termi on niin kutsuttu tasoittajafunktio (engl. mollifier). Se on ääret-tömästi derivoituva funktio, jolla on kompakti kantaja. Termin exp(4) avulla skaa-lataan tasoittajafunktion maksimi ykköseen. Toinen ja kolmas funktio määrittele-vät kolmiofunktion. Tätä samaa funktiota käytetään myös kahden seuraavan luvunesimerkeissä laskettaessa derivaattoja ja konvoluutiota.

35

36 LUKU 4. ESTIMOINTI

0 5 100

1

0 5 10

0

1PSfrag replacements

x

f(x

)

x

g(x

)

Kuva 4.1: ylhäällä: Alkuperäinen estimoitava funktio 4.2. alhaalla: 41 mittauspis-tettä. Mittauksissa 15 prosenttia kohinaa funktion 4.2 maksimiarvosta.

Mittauksiin lisätään 15 prosenttia normaalijakautunutta valkoista kohinaa mit-tausfunktion maksimiarvosta

‖ε‖ = 0.15max(|f(x)|), ε ∼ N(0, σ2) (4.3)

Tarkasteltaessa ratkaisun riippumattomutta diskretoinnista on haettava ehdotmilloin ratkaisu on diskretointiriippumaton. Diskretointiriippumattomuuden tark-kaa matemaattista määritelmää ei ole olemassa. Tässä työssä diskretointiriippu-mattomuutta perustellaan kahden välttämättömän heuristisen ehdon avulla. Ensim-mäisenä ja välttämättömänä ehtona pidetään sitä, että kuvien on näytettävä visu-aalisesti samanlaisilta diskretoinnin muuttuessa. Toisena välttämättömänä ehtonapidetään L2([0, 10]) –normin diskretoinnin pysymistä rajoitettuna tietyn rajan si-sällä. Normin diskretointi määritellään seuraavasti

(∫ 10

0f(x)2

)

1

2

≈√

10

n‖fratk‖ (4.4)

Sanomalla, että normin täytyy pysyä tietyn rajan sisällä tarkoitetaan käytännössä,että parin kolmen ensimmäisen merkitsevän numeron tulee pysyä samoina diskre-tointia muutettaessa. Asia vaatisi tarkemman matemaattisen määritelmän, muttasiihen ei tämän työn puitteissa ehditä. Ongelmakohtia tulee etenkin pienimmillätuntemattomien lukumäärillä, sillä diskretoinnin karkeus voi vaikuttaa suuresti ky-seiseen normiin 4.4.

4.2. REGULARISOINTIPARAMETRIN TULKINTA 37

4.2 Regularisointiparametrin tulkinta

Kappaleessa 3.3 tarkasteltiin kuinka diskretointiväli on otettava huomioon regulari-sointikovarianssissa ja Tihonovin menetelmässä regularisointimatriiseissa. Diskre-tointivälin huomioonotto on vain osa regularisoinnin valinnasta. Tässä kappalees-sa tarkastellaan kuinka regularisointikovarianssi voidaan muodostaa, kun tiedetäänprioristi tuntemattoman käyttäytyminen.

Tihonovin menetelmän

minf∈Rn

‖C(Af − g)‖2 + αJ2(f)

(4.5)

parametrin α hakua varten on kehitetty useita erilaisia heuristisia hakumenetelmiä,kuten Morozovin diskrepanssiperiaate ja L-käyrä. Nämä menetelmät eivät kuiten-kaan nykyisessä muodossaan ota huomioon diskretointia. Niissä diskretointia pi-detään yhtenä regularisointiparametrina. Näiden menetelmien ongelmana on myöshuono konvergenssi, jolla tarkoitan, että ratkaisu ei konvergoi kaikissa tapauksis-sa ja toisaalta parametrin hakua varten voidaan joutua ratkaisemaan useita inver-siotehtäviä. Tämä on laskennallisesti hyvin vaativaa, eikä sovi esimerkiksi moniinreaaliaikaisiin laskentatarpeisiin. On myös huomattavaa, että nämä menetelmät onkehitetty deterministiseen inversioon, ei tilastolliseen. Täten on etsittävä tapa tilas-tollisessa inversioteoriassa valita regularisointiparametri.

Lähdetään liikkeelle valitsemalla regularisointikovarianssi seuraavasti

Σ = diag(

σ2h2k−1, . . . , σ2h2k−1)

(4.6)

Tällöin tehtävän ratkaisu, eli posteriorijakauma saadaan muotoon

Dp(f) ∝ exp

(

−1

2

(

1

σ2h2k−1

(

Aregf)T

Aregf + (g − Af)T Σ−1(g − Af)

))

(4.7)

Vastaavasti maksimi a posteriori –estimaatiksi saadaan

f =

(

AT Σ−1A +1

σ2h2k−1AT

regAreg

)−1

AT Σ−1g (4.8)

Otetaan käyttöön seuraava merkintä

α =1

σ2(4.9)

ja kutsutaan termiä α regularisointiparametriksi. Se määrää regularisoinnin voi-makkuuden. Luonnollisestikin klassinen regularisointiparametri kirjoitettaisiinmuodossa

α =1

σ2h2k−1. (4.10)


Jotta regularisointiparametrille 4.9 saataisiin järkevä tulkinta, niin tuntematon onparametrisoitava, kuten kappaleessa 2.2.2 selostettiin. Tällöin tuntematon on suu-ruusluokaltaan välillä [−1, 1]. Estimoitavaksi valittu funktio 4.2 on valmiiksi para-metrisoitu välille [0, 1].

Ensimmäisen kertaluvun regularisoinnilla voidaan tuntemattoman muutos yk-kösen pituisella välillä kirjoittaa seuraavasti

f(a + 1) − f(a) ∼ N(0, σ2), a ∈ [0, 9]. (4.11)

Edellinen pätee, sillä

f(xi) − f(xi−1) ∼ N(0, σ2(xi − xi−1)) (4.12)

ja summa välillä [a, a + 1] on

n∑

i=1

f(xi) − f(xi−1) = f(xn) − f(x0) = f(a + 1) − f(a) ∼ N(0, σ2). (4.13)

Täten on selvä, että regularisointiparametrin valinnalla rajoitetaan tuntemattomanfunktion määrittelyaluetta. Koska prioristi tiedetään, että tuntematon on välillä[0, 1] ja tuntemattoman suurimmat derivaatat ovat ykkösen luokkaa, niin regula-risointiparametriksi on valittava α = 1.

Toisen kertaluvun priori välillä [a, a + 1] voidaan kirjoittaa muodossa

1

h

n∑

i=1

(f(xi+1) − 2f(xi) + f(xi−1)) =f(xn) − f(xn−1)

h− f(x1) − f(x0)

h

≈ f ′(a + 1) − f ′(a) ∼ N(0, σ2) (4.14)

Täten toisen kertaluvun priorin varianssi σ2 kertoo kuinka paljon derivaatta muut-tuu välillä [a, a + 1]. Estimoidessa funktiota 4.2 on selkeästikin valittava regulari-sointiparametriksi α = 1.

Nollannen kertaluvun regularisoinnissa regularisointiparametrilla valitaan tun-temattoman varianssi prioristi tiedetyn arvon ympärillä. Luonnollisestikin tässä ta-pauksessa valitaan α = 1.

4.3 Tulokset

Tulokset lasketaan kahdella eri regularisointiparametrin arvolla 1 ja 102 nollannen,ensimmäisen ja toisen kertaluvun regularisoinnilla. Tulokset lasketaan kahdella eriregularisointiparametrin arvolla, jotta nähtäisiin toimiiko kappaleessa 4.2 esitettyteoria käytännössä. Tuntemattomien lukumäärät ovat 21, 81, 161 ja 321. Mittauk-sia tehdään 41 kappaletta ja niihin lisätään kohinaa 15 prosenttia mittauksen mak-simiarvosta.

4.3. TULOKSET 39

Ratkaisusta, eli posteriorijakaumasta lasketaan maksimi a posteriori –estimaat-ti ja näytteistetään yksi piste-estimaatti. On huomattavaa, että näytteistettyä piste-estimaattia voidaan pitää yhtä hyvin ratkaisuna kuin maksimi a posteriori –esti-maattia. Lisäksi näytteistetään priorijakaumaa, josta nähdään suoraan regularisoin-tiparametrin vaikutus.

Nollannen kertaluvun regularisoinnilla saadut maksimi a posteriori –estimaatitovat kuvissa 4.2 ja 4.5. Kappaleessa 4.1 esitellyt välttämättömät ehdot eivät pä-de. Ensimmäinen ehto, eli kuvien tulisi näyttää samanlaisilta ei päde selvästikäänkuvassa 4.5. Mittauksien kohdalla olevat ratkaisupisteet nousevat tuntemattomienlukumäärän noustessa kohti mittauspisteitä. Normin 4.4 arvot eivät ole lähellekääntoisia diskretoinnin muuttuessa. Täten kumpikaan välttämätön ehto diskretointi-riippumattomuudelle ei toteudu ja ratkaisu ei ole diskretointiriippumaton.

Vaikka nollannen kertaluvun ratkaisussa käytettiinkin diskretointiriippumatto-mia prioreita, niin posterioriratkaisussa ei päästy diskretointiriippumattomuuteen.Tämä tapaus nostaa esille kysymyksen siitä millainen teoriamatriisin tulisi olla.Tässä tapauksessa teoriamatriisia ei olla konstruoitu jatkuvasta funktiosta. Riittäi-sikö esimerkiksi jatkuva teoria diskretointiriippumattomuuteen on jatkotutkimuk-sen aihe.

Kumpikaan nollannen kertaluvun regularisoinnissa saaduista maksimi a poste-riori –estimaateista 4.2, 4.5 ei approksimoi kunnolla ratkaisua. Täten on mahdoton-ta sanoa kumpi regularisointiparametreista – 1 vai 102 – on parempi regularisoinninkannalta.

Kuvissa 4.3 ja 4.6 on näytteistetty nollannen kertaluvun priorijakaumaa. Regu-larisointiparametrin tulkinta suoraan näistä kuvista on vaikeaa, sillä priori vastaavalkoista kohinaa, jonka varianssi kasvaa diskretointivälin pienentyessä. Tulkintajätetäänkin jatkotutkimuksia varten.

Ensimmäisen kertaluvun regularisoinnilla saadut maksimi a posteriori –esti-maatit ovat kuvissa 4.8 ja 4.11. Näissä kuvissa eri diskretoinneilla saadut tuloksetmuistuttavat toisiaan. Samoin normi 4.4 pysyy suunnilleen vakiona. Täten ratkai-sua voidaan pitää diskretointiriippumattomana.

Kuvissa 4.9 ja 4.12 on näytteistetty ensimmäisen kertaluvun priorijakaumaa.Regularisointiparametrilla 1 näytteistetty priorijakauma muuttuu korkeintaan yk-kösen välillä ykkösen välillä. Tämä oli haluttu ominaisuus, joka näytettiin kappa-leessa 4.2.

Toisen kertaluvun regularisoinneilla saadut maksimi a posteriori –estimaatitovat kuvissa 4.14 ja 4.17. Sekä visuaalinen että numeerinen normiehto toteutuvat.Täten ratkaisua voidaan pitää diskretointiriippumattomana.

Kuvissa 4.15 ja 4.18 on näytteistetty toisen kertaluvun priorijakaumaa. Jälleenregularisointiparametrin ollessa 1 saadaan haluttu käyttäytyminen priorille.

Kuvassa 4.20 on tarkennus eri kertalukujen maksimi a posteriori –estimaat-teihin 321 tuntemattoman tapauksessa, kun regularisointiparametri on 1. Kuvas-


ta nähdään selvästi, että ensimmäisen kertaluvun regularisointi johtaa lineaariseeninterpolaatioon. Toisen kertaluvunkin ratkaisu johtaa interpolaatioon. Kuvasta eikuitenkaan selviä mikä interpolaatio on kyseessä. Todennäköisestikin kyseessä onsplini-interpolaatio, sillä optimointimenetelmissä on näytetty, että estimointi johtaasplini tyyppiseen interpolaatioon [29].

PSfrag replacements

Mittaukset Map-estimaatti

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements

MittauksetMap-estimaatti

x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21 ‖fratk‖√

10/n = 1.4612


10/n = 1.1427

n = 161 ‖fratk‖√

10/n = 0.8179

n = 321 ‖fratk‖√

10/n = 0.5819

Kuva 4.2: Funktion estimointi nollannen kertaluvun regularisoinnilla. Regulari-sointiparametri on 1. Kohinataso 15 prosenttia mittauksen maksimi-intensiteetistä.

4.3. TULOKSET 41

0 5 10−20

0

20

0 5 10−20

0

20

0 5 10−20

0

20

0 5 10−20

0


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.3: Näyte nollannen kertaluvun priorijakaumasta, kun regularisointipara-metri on 1.


PSfrag replacements

Mittaukset Näyte posteriorijakaumasta

0 5 10−20

0

20

0 5 10−20

0

20

0 5 10−20

0

20

0 5 10−20

0

20

PSfrag replacements

MittauksetNäyte posteriorijakaumasta

x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.4: Näyte nollannen kertaluvun posteriorijakaumasta, kun regularisointipa-rametri on 1.

4.3. TULOKSET 43

PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)


10/n = 0.1923


10/n = 0.4081

n = 161 ‖fratk‖√

10/n = 0.4274

n = 321 ‖fratk‖√

10/n = 0.3985

Kuva 4.5: Funktion estimointi nollannen kertaluvun regularisoinnilla. Re-gularisointiparametri on 102. Kohinataso 15 prosenttia mittauksen maksimi-intensiteetistä.


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.6: Näyte nollannen kertaluvun priorijakaumasta, kun regularisointipara-metri on 102.

4.3. TULOKSET 45

PSfrag replacements


0 5 10

−1

0

1

0 5 10

−1

0

1

0 5 10

−1

0

1

0 5 10

−1

0

1

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.7: Näyte nollannen kertaluvun posteriorijakaumasta, kun regularisointipa-rametri on 102.


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)


10/n = 1.4101


10/n = 1.5220

n = 161 ‖fratk‖√

10/n = 1.5242

n = 321 ‖fratk‖√

10/n = 1.5259

Kuva 4.8: Funktion estimointi ensimmäisen kertaluvun regularisoinnilla. Regulari-sointiparametri on 1. Kohinataso 15 prosenttia mittauksen maksimi-intensiteetistä.

4.3. TULOKSET 47

0 5 10−5

0

5

0 5 10−5

0

5

0 5 10−5

0

5

0 5 10−5

0


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.9: Näyte ensimmäisen kertaluvun priorijakaumasta, kun regularisointipa-rametri on 1.


PSfrag replacements


0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.10: Näyte ensimmäisen kertaluvun posteriorijakaumasta, kun regularisoin-tiparametri on 1.

4.3. TULOKSET 49

PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)


10/n = 0.7172


10/n = 0.8334

n = 161 ‖fratk‖√

10/n = 0.8320

n = 321 ‖fratk‖√

10/n = 0.8312

Kuva 4.11: Funktion estimointi ensimmäisen kertaluvun regularisoinnilla. Re-gularisointiparametri on 102. Kohinataso 15 prosenttia mittauksen maksimi-intensiteetistä.


0 5 10−0.5

0

0.5

0 5 10−0.5

0

0.5

0 5 10−0.5

0

0.5

0 5 10−0.5

0

0.5PSfrag replacements

x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.12: Näyte ensimmäisen kertaluvun priorijakaumasta, kun regularisointipa-rametri on 102.

4.3. TULOKSET 51

PSfrag replacements


0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.13: Näyte ensimmäisen kertaluvun posteriorijakaumasta, kun regularisoin-tiparametri on 102.


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)


10/n = 1.3412


10/n = 1.4612

n = 161 ‖fratk‖√

10/n = 1.4658

n = 321 ‖fratk‖√

10/n = 1.4683

Kuva 4.14: Funktion estimointi toisen kertaluvun regularisoinnilla. Regularisointi-parametri on 1. Kohinataso 15 prosenttia mittauksen maksimi-intensiteetistä.

4.3. TULOKSET 53

0 5 10−20

0

20

0 5 10−20

0

20

0 5 10−20

0

20

0 5 10−20

0


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.15: Näyte toisen kertaluvun priorijakaumasta, kun regularisointiparametrion 1.


PSfrag replacements


0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.16: Näyte toisen kertaluvun posteriorijakaumasta, kun regularisointipara-metri on 1.

4.3. TULOKSET 55

PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)


10/n = 0.7343


10/n = 0.8110

n = 161 ‖fratk‖√

10/n = 0.8105

n = 321 ‖fratk‖√

10/n = 0.8103

Kuva 4.17: Funktion estimointi toisen kertaluvun regularisoinnilla. Regularisointi-parametri on 102. Kohinataso 15 prosenttia mittauksen maksimi-intensiteetistä.


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.18: Näyte toisen kertaluvun priorijakaumasta, kun regularisointiparametrion 102.

4.3. TULOKSET 57

PSfrag replacements


0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

0 5 10−0.5

0

0.5

1

1.5

PSfrag replacements


x

x

x

x

f(x

)f(x

)f(x

)f(x

)

n = 21

n = 81

n = 161

n = 321

Kuva 4.19: Näyte toisen kertaluvun posteriorijakaumasta, kun regularisointipara-metri on 102.


PSfrag replacements


5 5.5 6 6.5−0.3

0

0.3

5 5.5 6 6.5−0.3

0

0.3

5 5.5 6 6.5−0.3

0



x

x

x

f(x

)f(x

)f(x

)

Nollas kertaluku

Ensimmäinen kertaluku

Toinen kertaluku

Kuva 4.20: Tarkennus eri kertalukujen maksimi a posteriori estimaatteihin 321 tun-temattoman tapauksessa. Regularisointiparametri on 1.

Luku 5

Numeerinen derivointi

Tässä luvussa tarkastellaan klassista epästabiilia ongelmaa, kohinaisen datan nu-meerista derivointia. Derivointimenetelmät voidaan jakaa kolmeen eri ryhmään:differenssi-, interpolaatio- ja regularisointimenetelmiin. Näistä kaksi ensimmäistäon hyvin tunnettuja ja yksinkertaisia toteuttaa kohinattomalle datalle. Kumpikaannäistä menetelmistä ei sovellu kohinaisen datan numeeriseen derivointiin [23].

Regularisointimenetelmät perustuvat usein differentiaaliyhtälöiden esittämisel-le integraalimuodossa ja niiden ratkaisemiselle inversiomenetelmillä [1], [2]. Tässätyössä ensimmäinen ja toinen derivaatta formuloidaan ensimmäisen lajin Fredhol-min integraaliyhtälön avulla. Regularisoinnissa käytetään Bayesin regularisointia.

5.1 Differentiointi integraaliyhtälöillä

Differentiaaliyhtälöiden ratkaiseminen integraalimuodossa perustuu Volterran jaFredholmin integraaliyhtälöiden ratkaisemiseen. Tässä kappaleessa esitelläänkuinka ratkaistaan differentiaaliyhtälöt g ′(x) = f(x) ja g′′(x) = f(x) Fredhol-min ensimmäisen lajin integraaliyhtälöllä.

Tarkastellaan aluksi ensimmäisen kertaluvun differentiaaliyhtälöä g ′(x) =

f(x). Differentiaaliyhtälö voidaan muuttaa Fredholmin ensimmäisen lajin inte-graaliyhtälöksi

g(x) = g(0) +

∫ 1

0H(x − y)f(y)dy. (5.1)

Integraaliydin H(x − y) on Heavisiden askelfunktio. Suora ongelma, eli mittauk-sien laskenta on konvoluutio, sillä integraaliydin riippuu vain erotuksesta x − y.Konvoluutio on integraali, joka kertoo kuinka paljon integraaliydin ja funktio f

ovat päällekkäin, kun integraaliydintä liikutetaan yli funktion f . Ratkaistaessa tun-tematonta f , kun integraaliydin ja mittaukset tunnetaan, kutsutaan dekonvoluutiok-si.

59

60 LUKU 5. NUMEERINEN DERIVOINTI

Tarkastetaan, että yhtälö 5.1 vastaa ensimmäisen kertaluvun differentiaaliyhtä-löä. Yhtälö 5.1 voidaan kirjoittaa ekvivalentissa muodossa

g(x) = g(0) +

∫ x

0f(y)dy. (5.2)

Ensimmäisen kertaluvun differentiaaliyhtälö saadaan derivoimalla yhtälö 5.2 puo-littain.

d

dxg(x) =

d

dx

(

g(0) +

∫ x

0f(y)dy

)

=d

dx(F (x) − F (0)) = f(x) (5.3)

Merkinnällä F (x) tarkoitetaan funktion f(x) integraalia. Tarkastetaan lyhyen esi-merkin avulla, että edellä esitetty teoria toimii.

Esimerkki 5.1.1 (Ensimmäinen derivaatta) Olkoon mittausfunktio g(x) = 12x2.

Tällöin sen derivaatta on f(x) = x ja alkuarvo g(0) = 0. Lasketaan tehtäväng′(x) = f(x) suora ongelma, eli funktion f(x) integraali g(x).

g(x) = g(0) +

∫ 1

0H(x − y)f(y)dy =

∫ x

0ydy =

1

2x2.

Toisena esimerkkinä käsitellään toisen kertaluvun differentiaaliyhtälöäg′′(x) = f(x). Luonnollisestikin toisen kertaluvun differentiaaliyhtälö voidaanesittää ensimmäisen kertaluvun differentiaaliyhtälön avulla g ′′(x) = h′(x) =

f(x). Tällöin toisen kertaluvun differentiaaliyhtälön integraaliesitys saadaan kah-den konvoluutioyhtälön 5.1 avulla.

g(x) = g(0) +

∫ 1

0H(x − y)h(y)dy

= g(0) + h(0)

∫ 1

0H(x − y)dy +

∫ 1

0H(x − y)

∫ 1

0H(y − z)f(z)dzdy

= g(0) + xg′(0) +

∫ x

0

∫ y

0f(z)dzdy

= g(0) + xg′(0) +

∫ x

0(x − z)f(z)dz

= g(0) + xg′(0) +

∫ 1

0H(x − z)(x − z)f(z)dz (5.4)

Hyppäys kahden integraalin muodosta yhteen nähdään differentioimalla molem-mat puolet. Tällöin saadaan samat derivaatat. Myös toisen derivaatan integraaliy-din on konvoluutioydin K(x − y) = H(x − y)(x − y). Tarkastetaan vielä, et-tä integraaliydin antaa oikean tuloksen. Tulos saadaan differentioimalla puolittain

5.2. SIMULOINTI 61

yhtälöä 5.4 kahteen kertaan.

d2

dx2g(x) =

d2

dx2

(

g(0) + xg′(0) +

∫ 1

0H(x − y)(x − y)f(y)dy

)

=d2

dx2

∫ x

0(x − y)f(y)dy

=d2

dx2

(∫ x

0xf(y)dy −

(

yF (y)|x0 −∫ x

0F (y)dy

))

=d2

dx2F(y)|x0

= f(x)

Merkinnällä F (x) tarkoitetaan jälleen funktion f(x) integraalia ja merkinnälläF(x) vastaavasti funktion F (x) integraalia. Tarkastetaan vielä lyhyen esimerkinavulla toimiiko esitetty integraalimuoto.

Esimerkki 5.1.2 (Toinen derivaatta) Olkoon mittausfunktio g(x) = x3

6 . Tällöinsen toinen derivaatta on f(x) = x ja alkuarvot g(0) = g ′(0) = 0. Lasketaanjälleen suora ongelma, eli integroidaan funktiota f(x) kahdesti.

g(x) = g(0) + xg′(0) +

∫ 1

0H(x − y)(x − y)f(y)dy

=

∫ x

0(x − y)ydy =

x3

6

Korkeamman kertaluvun differentiaaliyhtälöt saadaan tekemällä useita ensimmäi-sen kertaluvun diffentiaaliyhtälöitä. Tällöin voidaan näyttää, että n-kertaluvun dif-ferentiaaliyhtälön integraaliydin on

K(x − y) =1

(n − 1)!H(x − y)(x − y)n−1. (5.5)

5.2 Simulointi

Simuloinnissa lasketaan ensimmäistä ja toista derivaattaa kohinaisesta mittaukses-ta. Mittausfunktiona käytetään samaa funktiota 4.2 kuin edellisessäkin luvussa. Semääriteltiin seuraavasti tasoittajafunktion ja kolmiofunktion avulla.

g(x) =

exp(4) exp(

− 25x(5−x)

)

, x ∈ (0, 5),

x − 7 , x ∈ [7, 8)

−x + 9 , x ∈ [8, 9)

0 , muulloin.

(5.6)


Mittausfunktion analyyttisesti lasketut derivaatat ovat

g′(x) =

exp(4)(

25x2(5−x)

− 25x(5−x)2

)

exp(

− 25x(5−x)

)

, x ∈ (0, 5)

1 , x ∈ [7, 8)

−1 , x ∈ [8, 9)

0 , muulloin.

(5.7)

g′′(x) =

exp(4)25 6x4−60x3+300x2−750xx4(x−5)4

exp(

− 25x(5−x)

)

, x ∈ (0, 5)

δ(x − 7) − δ(x − 8) + δ(x − 9) , muulloin.(5.8)

Mittausfunktion 5.6 toinen derivaatta on tulkittava distribuutiomielessä, sillä kol-miofunktiolla ei ole perinteisessä mielessä toista derivaattaa. Distribuutiomielessätoinen derivaatta voidaan esittää Diracin deltafunktioiden δ(·) avulla. Yhtälöistämyös näkee, että ne täyttävät derivoinnissa vaadittavat reunaehdot.

Mittauksiin lisätään normaalijakautunutta valkoista kohinaa. Sitä lisätään yksiprosentti mittauksen maksimiarvosta.

‖ε‖ = 0.01max(|g(x)|), ε ∼ N(0, σ2) (5.9)

Välttämättöminä ehtoina diskretointiriippumattomuudelle pidetään jälleen ku-vien näyttämistä visuaalisesti samanlaisilta. Toisena ehtona pidetään ratkaisunL2 ([0, 10]) –normin diskretoitua versiota

(∫ 10

0

(

g(k)ratk(x)

)2dx

)

1

2

≈(

10

n

n∑

i=1

(

g(k)ratk(xi)

)2) 1

2

=

√

10

n

∥

∥

∥g(k)ratk

∥

∥

∥. (5.10)

Merkinnällä (k) tarkoitetaan derivaatan kertalukua. Mikäli kyseinen virhenormi5.10 pysyy inversioratkaisussa suunnilleen vakiona tuntemattomien lukumäärän n

muuttuessa, niin inversioratkaisua voidaan pitää diskretointiriippumattomattoma-na.

5.3 Tulokset

Mittauksia lasketaan yhteensä 75 kappaletta. Mittauksiin lisätään valkoista kohi-naa. Mittaukset lasketaan analyyttisesta muodosta 5.6. Täten vältytään inversiori-kokselta (engl. inverse crime) [13]. Mittaukset ovat kuvassa 5.1 ylhäällä. Tuloksetlasketaan neljällä eri tuntemattomien lukumäärällä: 10, 50, 100 ja 200.

Kuvassa 5.1 keskellä on Heavisiden askelfunktiosta lasketun teoriamatriisinsingulaariarvot. Suurimman ja pienimmän singulaariarvon suhde ei ole kovinkaansuuri ja täten ongelmaa ei voida pitää tämän tiedon perusteella kovinkaan epäs-tabiilina. Ongelman tekee epästabiiliksi mittauksiin lisätty kohina. Täten ongelmavaatii regularisointia.

5.3. TULOKSET 63

10 40 70

10−1

100

101

10 40 7010−4

10−2

100

0 5 10

0

1

PSfrag replacements

g(x

)

x

Kuva 5.1: Ylhäällä: Mittausarvot. Keskellä: Heavisiden askelfunktion H(x − y)

singulaariarvot. Alhaalla: Toisen derivaatan integraaliytimen H(x−y)(x−y) sin-gulaariarvot.

Kuvassa 5.1 alhaalla on toisen derivaatan teoriamatriisin singulaariarvot. Sa-moin kuin ensimmäisen derivaatan teoriamatriisille, niin myös tälle singulaariar-vojen suhde ei ole suuri. Ongelman tekee jälleen epästabiiliksi mittauksiin lisättykohina. On kuitenkin huomattavaa, että ongelma on epästabiilimpi, kuin ensim-mäisen derivaatan laskenta.

Kuvassa 5.2 on laskettu ensimmäisen derivaatan kantafunktioita. Ne saadaanlaskemalla neliöfunktion (engl. boxcar) derivaattaa. Todellisuudessa kantafunktiotpitäisi laskea Diracin deltafunktiosta, mutta käytännön kannalta saadaan sama in-


formaatio paremmin visualisoitua, kun käytetään neliöfunktiota. On huomattavaa,että nollannen kertaluvun kantafunktio koostuu askeleista, ei jatkuvasta funktiosta,kuten ensimmäisen ja toisen kertaluvun kannat.

Kuvissa 5.3, 5.5, 5.7, 5.9 on laskettu ensimmäisen derivaatan maksimi a poste-riori –estimaatteja. Vastaavasti kuvissa 5.11, 5.13, 5.15, 5.17, 5.19 ja 5.21 on lasket-tu toisen derivaatan maksimi a posteriori –estimaatteja. Muissa kuvissa on lasket-tu samoilla regularisointiparametreilla, kuin maksimi a posteriori –estimaatissakinpiste-estimaatteja posteriorijakaumasta.

Normi 5.10 pysyy eri regularisointityypeillä vakiona sekä ensimmäisen että toi-sen derivaatan laskennassa. Samoin visuaalisesti kuvaajat ovat saman näköisiä, kundiskretointia muutetaan. Täten ratkaisuja voidaan pitää kaikissa tapauksissa diskre-tointiriippumattomina. On huomattavaa, että ensimmäisen derivaatan laskennassanollannen kertaluvun regularisoinnilla ratkaisu koostuu askelmista, kun tuntemat-tomia on enemmän kuin mittauksia. Askelmat voidaan selittää sillä, että ratkaisunkantafunktioiden lukumäärä on korkeintaan sama kuin mittauksien lukumäärä.

On lisäksi huomattavaa, että eri regularisoinneilla ratkaisun reunat näyttäväterilaisilta. Tämä on luonnollista, sillä ensimmäisen kertaluvun regularisoinnissasanotaan, että peräkkäisten tuntemattomien erotus on pieni. Tällöin on luonnolli-sesta, että reunoilla ratkaisu on vakio. Vastaavasti toisen kertaluvun regularisoinnil-la rajoitetaan derivaattaa. Täten on luonnollista, että reunoilla ratkaisu on laskevatai nouseva suora.

Sekä ensimmäisen että toisen kertaluvun ratkaisussa tasoittajafunktio saadaanselvästi esille regularisointiparametrilla 1. Sen sijaan ensimmäisen derivaatan las-kennassa kolmiofunktion derivaatta, eli askeleet ja toinen derivaatta, eli Diracindeltafunktiot eivät tule niin hyvin esille regularisointiparametrilla 1. Tämä johtuusiitä, että prioristi sanotaan, että noin jyrkkiä askeleita ei saa ottaa. Ainoastaan en-simmäinen derivaatta nollannen kertaluvun regularisoinnilla antaa suunnilleen oi-kean näköisen käyttäymisen sekä tasoittafunktion että kolmiofunktion derivaatal-le. Tämä johtuu integraaliytimen, eli Heavisiden askelfunktion ominaisuuksista janollannen kertaluvun priorista, joka vastaa valkoista kohinaa.

Toisen derivaatan laskennassa on pyritty saamaan myös ratkaisuja, joissa näky-vät deltapiikit selvästi. Ne saadaankin näkyviin, mutta samaan aikaan posteriorija-kauman muoto levenee. Tämä näkyy tarkasteltaessa posteriorijakaumasta näytteis-tettyjä piste-estimaatteja. Ensimmäisen ja toisen kertaluvun piste-estimaatit nou-dattavat suurin piirtein ratkaisuja, kun regularisointiparametri on 1. Heikommallaregularisoinnilla piste-estimaatit eivät noudata ollenkaan todellista ratkaisua.

5.3. TULOKSET 65

0 0.5 1−40

0

40

0 0.5 1−10

0

10

0 0.5 10

0.5

1

0 0.5 1−3

0


x

x

x

x

g′ (x)

g′ (x)

g′ (x)

g′ (x)

Mittausfunktio

Nollannen kertaluvun kanta

Ensimmäisen kertaluvun kanta

Toisen kertaluvun kanta

Kuva 5.2: Kantafunktiot eri kertalukujen regularisoinneille.


PSfrag replacements

Analyyttinen ratkaisu Map-estimaatti

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements

Analyyttinen ratkaisuMap-estimaatti

g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10 ‖g′ratk‖√

10/n = 1.2982

n = 50 ‖g′ratk‖√

10/n = 1.7331

n = 100 ‖g′ratk‖√

10/n = 1.8301

n = 200 ‖g′ratk‖√

10/n = 1.7904

Kuva 5.3: Kaavan 5.6 yhtälön ensimmäinen derivaatta nollannen kertaluvun regu-larisoinnilla. Regularisointiparametri on 1. Kohinaa on lisätty yksi prosentti mit-tauksen maksimi-intensiteetistä.

5.3. TULOKSET 67

PSfrag replacements

Analyyttinen ratkaisu Näyte posteriorijakaumasta

0 5 10−10

0

10

0 5 10−10

0

10

0 5 10−10

0

10

0 5 10−10

0

10

PSfrag replacements

Analyyttinen ratkaisuNäyte posteriorijakaumasta

g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.4: Näyte ensimmäisen derivaatan laskennan posteriorijakaumasta nollan-nen kertaluvun regularisoinnilla, kun regularisointiparametri on 1.


PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10 ‖g′ratk‖√

10/n = 1.2925

n = 50 ‖g′ratk‖√

10/n = 1.6291

n = 100 ‖g′ratk‖√

10/n = 1.6439

n = 200 ‖g′ratk‖√

10/n = 1.6461

Kuva 5.5: Kaavan 5.6 yhtälön ensimmäinen derivaatta ensimmäisen kertaluvun re-gularisoinnilla. Regularisointiparametri on 1. Kohinaa on lisätty yksi prosentti mit-tauksen maksimi-intensiteetistä.

5.3. TULOKSET 69

PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.6: Näyte ensimmäisen derivaatan posteriorijakaumasta ensimmäisen kerta-luvun regularisoinnilla, kun regularisointiparametri on 1.


PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10 ‖g′ratk‖√

n = 1.2762

n = 50 ‖g′ratk‖√

n = 1.4788

n = 100 ‖g′ratk‖√

n = 1.4946

n = 200 ‖g′ratk‖√

n = 1.4921

Kuva 5.7: Kaavan 5.6 yhtälön ensimmäinen derivaatta toisen kertaluvun regulari-soinnilla. Regularisointiparametri on 1. Kohinaa on lisätty yksi prosentti mittauk-sen maksimi-intensiteetistä.

5.3. TULOKSET 71

PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.8: Näyte ensimmäisen derivaatan posteriorijakaumasta toisen kertaluvunregularisoinnilla, kun regularisointiparametri on 1.


PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10 ‖g′ratk‖√

n = 1.3016

n = 50 ‖g′ratk‖√

n = 1.7233

n = 100 ‖g′ratk‖√

n = 1.7417

n = 200 ‖g′ratk‖√

n = 1.7402

Kuva 5.9: Kaavan 5.6 yhtälön ensimmäinen derivaatta toisen kertaluvun regulari-soinnilla. Regularisointiparametri on 10−3. Kohinaa on lisätty yksi prosentti mit-tauksen maksimi-intensiteetistä.

5.3. TULOKSET 73

PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′ (x)

g′ (x)

g′ (x)

g′ (x)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.10: Näyte ensimmäisen derivaatan posteriorijakaumasta ensimmäisen ker-taluvun regularisoinnilla, kun regularisointiparametri on 10−3.


PSfrag replacements


0 5 10−4

−2

0

2

0 5 10−4

−2

0

2

0 5 10−4

−2

0

2

0 5 10−4

−2

0

2

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10 ‖g′′ratk‖√

10/n = 2.4207

n = 50 ‖g′′ratk‖√

10/n = 3.4592

n = 100 ‖g′′ratk‖√

10/n = 3.4586

n = 200 ‖g′′ratk‖√

10/n = 3.4579

Kuva 5.11: Kaavan 5.6 yhtälön toinen derivaatta nollannen kertaluvun regulari-soinnilla. Regularisointiparametri on 1. Kohinaa on lisätty yksi prosentti mittauk-sen maksimi-intensiteetistä.

5.3. TULOKSET 75

PSfrag replacements


0 5 10

−10 0

10

0 5 10

−10 0

10

0 5 10

−10 0

10

0 5 10

−10 0

10

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.12: Näyte toisen derivaatan posteriorijakaumasta nollannen kertaluvun re-gularisoinnilla, kun regularisointiparametri on 1.


PSfrag replacements


0 5 10

−4 0 4

0 5 10

−4 0 4

0 5 10

−4 0 4

0 5 10

−4 0 4

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10 ‖g′′ratk‖√

10/n = 2.5140

n = 50 ‖g′′ratk‖√

10/n = 4.2176

n = 100 ‖g′′ratk‖√

10/n = 4.2808

n = 200 ‖g′′ratk‖√

10/n = 4.2847

Kuva 5.13: Kaavan 5.6 yhtälön toinen derivaatta nollannen kertaluvun regulari-soinnilla. Regularisointiparametri on 10−1. Kohinaa on lisätty yksi prosentti mit-tauksen maksimi-intensiteetistä.

5.3. TULOKSET 77

PSfrag replacements


0 5 10−40

0

40

0 5 10−40

0

40

0 5 10−40

0

40

0 5 10−40

0

40

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.14: Näyte toisen derivaatan posteriorijakaumasta nollannen kertaluvun re-gularisoinnilla, kun regularisointiparametri on 10−1.


PSfrag replacements


0 5 10−2

0 2

0 5 10−2

0 2

0 5 10−2

0 2

0 5 10−2

0 2

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10 ‖g′′ratk‖√

10/n = 2.3040

n = 50 ‖g′′ratk‖√

10/n = 2.6976

n = 100 ‖g′′ratk‖√

10/n = 2.6919

n = 200 ‖g′′ratk‖√

10/n = 2.6904

Kuva 5.15: Kaavan 5.6 yhtälön toinen derivaatta ensimmäisen kertaluvun regulari-soinnilla. Regularisointiparametri on 1. Kohinaa on lisätty yksi prosentti mittauk-sen maksimi-intensiteetistä.

5.3. TULOKSET 79

PSfrag replacements


0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

0 5 10−2

0

2

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.16: Näyte toisen derivaatan posteriorijakaumasta ensimmäisen kertaluvunregularisoinnilla, kun regularisointiparametri on 1


PSfrag replacements


0 5 10

−4 0 4

0 5 10

−4 0 4

0 5 10

−4 0 4

0 5 10

−4 0 4

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10 ‖g′′ratk‖√

10/n = 2.5251

n = 50 ‖g′′ratk‖√

10/n = 4.4215

n = 100 ‖g′′ratk‖√

10/n = 4.3685

n = 200 ‖g′′ratk‖√

10/n = 4.3466

Kuva 5.17: Kaavan 5.6 yhtälön toinen derivaatta ensimmäisen kertaluvun regula-risoinnilla. Regularisointiparametri on 10−3. Kohinaa on lisätty yksi prosentti mit-tauksen maksimi-intensiteetistä.

5.3. TULOKSET 81

PSfrag replacements


0 5 10

−20−10

010

0 5 10

−20−10

010

0 5 10

−20−10

010

0 5 10

−20−10

010

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.18: Näyte ensimmäisen derivaatan posteriorijakaumasta ensimmäisen ker-taluvun regularisoinnilla, kun regularisointiparametri on 10−3.


PSfrag replacements


0 5 10−2

0 2

0 5 10−2

0 2

0 5 10−2

0 2

0 5 10−2

0 2

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10 ‖g′′ratk‖√

10/n = 2.1272

n = 50 ‖g′′ratk‖√

10/n = 2.5061

n = 100 ‖g′′ratk‖√

10/n = 2.5034

n = 200 ‖g′′ratk‖√

10/n = 2.5024

Kuva 5.19: Kaavan 5.6 yhtälön toinen derivaatta toisen kertaluvun regularisoin-nilla. Regularisointiparametri on 1. Kohinaa on lisätty yksi prosentti mittauksenmaksimi-intensiteetistä.

5.3. TULOKSET 83

PSfrag replacements


0 5 10−2

0

2

4

0 5 10−2

0

2

4

0 5 10−2

0

2

4

0 5 10−2

0

2

4

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.20: Näyte ensimmäisen derivaatan posteriorijakaumasta toisen kertaluvunregularisoinnilla, kun regularisointiparametri on 1.


PSfrag replacements


0 5 10

−4 0 4

0 5 10

−4 0 4

0 5 10

−4 0 4

0 5 10

−4 0 4

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10 ‖g′′ratk‖√

10/n = 2.5254

n = 50 ‖g′′ratk‖√

10/n = 4.5811

n = 100 ‖g′′ratk‖√

10/n = 4.4456

n = 200 ‖g′′ratk‖√

10/n = 4.4085

Kuva 5.21: Kaavan 5.6 yhtälön toinen derivaatta toisen kertaluvun regularisoinnil-la. Regularisointiparametri on 10−5. Kohinaa on lisätty yksi prosentti mittauksenmaksimi-intensiteetistä.

5.3. TULOKSET 85

PSfrag replacements


0 5 10

−10 0

10

0 5 10

−10 0

10

0 5 10

−10 0

10

0 5 10

−10 0

10

PSfrag replacements


g′′(x

)g′′(x

)g′′(x

)g′′(x

)

x

x

x

x

n = 10

n = 50

n = 100

n = 200

Kuva 5.22: Näyte ensimmäisen derivaatan posteriorijakaumasta toisen kertaluvunregularisoinnilla, kun regularisointiparametri on 10−5.

Luku 6

Interferometrin spektriresoluutio

Tässä luvussa esitellään menetelmä instrumenttifunktion poistoon mitatusta viivas-pektriprofiilista. Mittalaitetta – esimerkiksi Fabry-Perot interferometria – voidaanpitää spatiaalisena suodattimena. Mittalaite levittää alkuperäistä spektriprofiilia jamitattu profiili on alkuperäisen spektriprofiilin konvoluutio instrumenttifunktionkanssa. Instrumenttifunktion poisto on erittäin suuri ongelma esimerkiksi matalanlämpötilan plasmadiagnostiikassa.

Menetelmää on käsitelty alunperin lähteessä [20], jossa ongelma ratkaistiin Ti-honovin menetelmällä.

6.1 Teoria

Spatiaalinen suodatin voidaan määritellä esimerkiksi seuraavalla konvoluutioyhtä-löllä

g(x) = (K ∗ f)(x) =

∫ 10

0K(x − y)f(y)dy + ε(x), ε(x) ∼ N(0,Σ) (6.1)

Kyseessä on jälleen Fredholmin ensimmäisen lajin integraaliyhtälö. Interferomet-riassa integraaliydintä K(x− y) kutsutaan instrumenttifunktioksi. Se määritelläänapodisointifunktion A(ξ) Fourier-muunnoksena.

K(x) =

∫ a

−a

cos(2πxξ)A(ξ)dξ. (6.2)

Apodisointifunktion avulla interferometrissa saadaan mitattu spektri laskemaantasaisesti nollaan näytteistetyn alueen reunoilla. Tämän avulla vältytään reunail-miöilta, mutta samaan aikaan spektriviivat levenevät ja täten resoluutio pienenee.

86

6.2. SIMULOINTI 87

Tässä työssä valitaan symmetriselle, kaksipuoleiselle interferometrille apodisoin-tifunktioksi kolmiofunktio

A(ξ) = 1 − |ξ|a

. (6.3)

Kolmiofunktiota vastaava instrumenttifunktio saadaan Fourier-muunnoksena

K(x) =

∫ a

−a

cos(2πxξ)

(

1 − |ξ|a

)

dξ = asinc2(πxa). (6.4)

On huomattavaa, että instrumenttifunktio on normeerattu ykköseen∫ a

−a

K(x)dx = 1. (6.5)

Interferometriassa mittaukset voidaan tallentaa esimerkiksi intensiteetti g(x) -aallonpituus x –koordinaatistossa CCD-kameralla. Tyypilliset mittausvirheet saat-tavat olla jopa 5-10 prosenttia [20].

6.2 Simulointi

Mittauksissa alkuperäisenä spektrinä f(y) käytetään samaa funktiota kuin kahdenedellisen luvun esimerkeissäkin

f(y) =

exp(4) exp(

− 25y(5−y)

)

,y ∈ (0, 5)

y − 7 , y ∈ [7, 8)

−y + 9 , y ∈ [8, 9)

0 , muulloin

(6.6)

Määrittelyalueena on y ∈ [0, 10].Mittausarvot lasketaan numeerisesti käyttäen keskipistekvadratuuria

g(xi) =

∫ ∞

−∞

K(xi − y)f(y)dy, i = 1, 2, . . . , n (6.7)

≈ K(xi − yj)f(yj)10

m, i = 1, 2, . . . , n, j = 1, 2, . . . ,m (6.8)

Kohinaa lisätään mittauksiin kymmenen prosenttia mittauksen maksimiarvosta

‖ε‖ = 0.1max(|g (xi) |), ε ∼ N(0, σ2). (6.9)

Virhenormina käytetään jälleen L2([0, 10]) –normin diskretoitua versiota

(∫ 10

0(fratk(x))2 dx

)

1

2

≈√

10

n‖fratk‖ . (6.10)

Tuloksia pidetään jälleen diskretointiriippumattomina, mikäli virhenormi 6.10 eimuutu tuntemattomien lukumäärää muutettaessa ja kuvaajat näyttävät visuaalisestisamanlaisilta.

88 LUKU 6. INTERFEROMETRIN SPEKTRIRESOLUUTIO

0 5 100

1

−1 0 10

1

0 5 10

0

0.3

10 40 7010−18

10−9

100

PSfrag replacements

x

K(x

)

y

f(y

)

x

g(x

)λ

Kuva 6.1: Ylhäällä: Instrumenttifunktio, kun a = 1. Toinen ylhäältä: Ideaalinenspektri. Toinen alhaalta: Mittausarvot, joihin lisätty kohinaa kymmenen prosenttiamittauksen maksimiarvosta. Alhaalla: Instrumenttifunktiosta lasketun teoriamat-riisin singulaariarvot.

6.3 Tulokset

Mittauksia tehdään 75 kappaletta. Koska mittaukset lasketaan numeerisesti, niinvältetään saman teoriamatriisin käyttöä ratkaisussa. Ratkaisuissa on tuntemattomia10, 50, 100 ja 200. Koska mittauksiin on lisäksi lisätty kohinaa, niin inversiorikok-

6.3. TULOKSET 89

sen vaaraa ei pitäisi olla.Kuvassa 6.1 alhaalla on laskettu teoriamatriisin singulaariarvot. Suurimman ja

pienimmän singulaariarvon suhde on luokkaa 1018. Pelkästään tämä tekee ongel-man ratkaisusta erittäin epästabiilin. Ongelman ratkaisua vaikeuttaa vielä interfe-rometrien kohinaisuus, jota tässä työssä mallinnetaan valkoisena kohinana.

Ratkaisut lasketaan jälleen kaikilla kolmella eri differenssiregularisoinnilla.Regularisointiparametreiksi valitaan 1 ja 10 . Posteriorijakaumasta lasketaan mak-simi a posteriori –estimaatti ja näytteistetään yksi piste-estimaatti. Kuten kahdenedellisen kappaleen esimerkeissäkin, niin myös tässä kappaleessa odotetaan par-haimpien tulosten tulevan regularisointiparametrilla 1.

Kuvissa 6.2, 6.6 ja 6.10 on eri kertalukujen maksimi a posteriori –estimaatit re-gularisointiparametrilla 1. Kymmenen tuntemattoman tapaus on ainoa, joka eroaamuista. Tämän voidaan olettaa johtuvan diskretoinnin karkeudesta. Muuten kuvatovat visuaalisesti saman näköisiä ja normiehtokin toteutuu. Täten ratkaisua voidaanpitää diskretointiriippumattomana.

Kuvissa 6.5, 6.8 ja 6.12 on ratkaisut liian voimakkaalla regularisointiparamet-rilla 10. Ratkaisuissa ei saada yhtä selvästi esille alkuperäistä funktiota kuin hei-kommalla regularisoinnilla ratkaistuissa kuvissa 6.2, 6.7 ja 6.10. Samoin kuin hei-kommalla regularisointiparametrilla, niin myös vahvemmalla ratkaisut ovat diskre-tointiriippumattomia lukuun ottamatta karkeinta diskretointia.

Eri näytteistyksistä nähdään, että regularisointiparametrilla 1 ensimmäisen jatoisen kertaluvun tapauksessa approksimoivat jotenkin todellista ratkaisua. Sen si-jaan regularisointiparametrilla 10 ei saada oikeata tulosta. Nollannen kertaluvun ta-paus vastaa jälleen valkoista kohinaa. Jätettäköön se jälleen jatkotutkimuksia var-ten.


PSfrag replacements

Mallifunktio Map-estimaatti

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements

MallifunktioMap-estimaatti

y

y

y

y

f(y

)f(y

)f(y

)f(y

)


10/n = 0.5681


10/n = 1.3099

n = 100 ‖fratk‖√

10/n = 1.3121

n = 200 ‖fratk‖√

10/n = 1.3121

Kuva 6.2: Instrumenttifunktion poisto nollannen kertaluvun regularisoinnilla. Re-gularisointiparametri on 1. Kohinataso kymmenen prosenttia mittauksen maksimi-intensiteetistä.

6.3. TULOKSET 91

PSfrag replacements

Mallifunktio Näyte posteriorijakaumasta

0 5 10

−10

0

10

0 5 10

−10

0

10

0 5 10

−10

0

10

0 5 10

−10

0

10

PSfrag replacements

MallifunktioNäyte posteriorijakaumasta

y

y

y

y

f(y

)f(y

)f(y

)f(y

)

n = 10

n = 50

n = 100

n = 200

Kuva 6.3: Näyte instrumenttifunktion poistosta nollannen kertaluvun regularisoin-nilla, kun regularisointiparametri on 1


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)


10/n = 0.3733


10/n = 0.6073

n = 100 ‖fratk‖√

10/n = 0.6073

n = 200 ‖fratk‖√

10/n = 0.6073

Kuva 6.4: Instrumenttifunktion poisto nollannen kertaluvun regularisoinnilla.Regularisointiparametri on 10. Kohinataso kymmenen prosenttia mittauksenmaksimi-intensiteetistä.

6.3. TULOKSET 93

PSfrag replacements


0 5 10−5

0

5

0 5 10−5

0

5

0 5 10−5

0

5

0 5 10−5

0

5

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)

n = 10

n = 50

n = 100

n = 200

Kuva 6.5: Näyte instrumenttifunktion poistosta nollannen kertaluvun regularisoin-nilla, kun regularisointiparametri on 10


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)


10/n = 0.5791


10/n = 1.3016

n = 100 ‖fratk‖√

10/n = 1.3010

n = 200 ‖fratk‖√

10/n = 1.3009

Kuva 6.6: Instrumenttifunktion poisto ensimmäisen kertaluvun regularisoinnil-la. Regularisointiparametri on 1. Kohinataso kymmenen prosenttia mittauksenmaksimi-intensiteetistä.

6.3. TULOKSET 95

PSfrag replacements


0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)

n = 10

n = 50

n = 100

n = 200

Kuva 6.7: Näyte instrumenttifunktion poistosta ensimmäisen kertaluvun regulari-soinnilla, kun regularisointiparametri on 1


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)


10/n = 0.4837


10/n = 1.0348

n = 100 ‖fratk‖√

10/n = 1.0359

n = 200 ‖fratk‖√

10/n = 1.0361

Kuva 6.8: Instrumenttifunktion poisto ensimmäisen kertaluvun regularisoinnil-la. Regularisointiparametri on 10. Kohinataso kymmenen prosenttia mittauksenmaksimi-intensiteetistä.

6.3. TULOKSET 97

PSfrag replacements


0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)

n = 10

n = 50

n = 100

n = 200

Kuva 6.9: Näyte instrumenttifunktion poistosta ensimmäisen kertaluvun regulari-soinnilla, kun regularisointiparametri on 10


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)


10/n = 0.5772


10/n = 1.2919

n = 100 ‖fratk‖√

10/n = 1.2917

n = 200 ‖fratk‖√

10/n = 1.2916

Kuva 6.10: Instrumenttifunktion poisto toisen kertaluvun regularisoinnilla. Regu-larisointiparametri on 1. Kohinataso kymmenen prosenttia mittauksen maksimi-intensiteetistä.

6.3. TULOKSET 99

PSfrag replacements


0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)

n = 10

n = 50

n = 100

n = 200

Kuva 6.11: Näyte instrumenttifunktion poistosta toisen kertaluvun regularisoinnil-la, kun regularisointiparametri on 1


PSfrag replacements


0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

0 5 10

0

0.5

1

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)


10/n = 0.4911


10/n = 1.0442

n = 100 ‖fratk‖√

10/n = 1.0446

n = 200 ‖fratk‖√

10/n = 1.0447

Kuva 6.12: Instrumenttifunktion poisto toisen kertaluvun regularisoinnilla. Regu-larisointiparametri on 10. Kohinataso kymmenen prosenttia mittauksen maksimi-intensiteetistä.

6.3. TULOKSET 101

PSfrag replacements


0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

0 5 10

0

1

2

PSfrag replacements


y

y

y

y

f(y

)f(y

)f(y

)f(y

)

n = 10

n = 50

n = 100

n = 200

Kuva 6.13: Näyte instrumenttifunktion poistosta toisen kertaluvun regularisoinnil-la, kun regularisointiparametri on 10

Luku 7

Kuvan terävöittäminen

Tässä kappaleessa siirrytään tarkastelemaan kaksiulotteista klassista kuvankäsit-telyongelmaa, konvoluutiotyyppistä alipäästösuodatinta [13], [15]. Havaintomalli,eli kaksiulotteinen Fredholmin yhtälö kirjoitetaan muodossa

g(x) =

∫

ΩK(x − y)f(y)dy + ε(x), x, y ∈ R

2, Ω ⊂ R2, (7.1)

jossa x = (x1, x2)T ja y = (y1, y2)

T ja g, f, ε : R2 → R. Samoin kuin aiemmis-

sa yksiulotteisissa tapauksissa, niin tässäkin on tarkoituksena rekonstruoida f(y)

mitatuista arvoista g(x), kun integraaliydin tiedetään. Otetaan yksinkertaisuudenvuoksi määrittelyalueeksi Ω = [0, 1] × [0, 1]. Sumentavaksi integraaliytimeksi va-litaan konvoluutioydin

K(x − y) = exp(−γ‖x − y‖). (7.2)

Parametrilla γ voidaan säätää sumeutta.

7.1 Simulointi

Diskretoitaessa alue jaetaan pikseleihin⋃N

j=1 Ωj = Ω, Ωj

⋂

Ωi = ∅, kun j 6=i. Jotta ongelma olisi helppo toteuttaa tietokoneella, niin olkoon kaikki pikselitsaman kokoisia neliöitä. Tällöin j = 1, 2, . . . , P × P = N . Tällöin diskretoituhavaintomalli saadaan muotoon

g(xi) =1

N

P∑

j=1

exp (−γ‖xi − yj‖) f(yj) + ε(xi), i = 1, 2, . . . , P. (7.3)

Otetaan leikkiesimerkki ja annetaan mallifunktion f(y) olla kakkosen muotoi-nen. Malli on esitetty kuvassa 7.1 vasemmalla.

Mittauksiin lisätään kohinaa yksi prosentti mittauksen maksimiarvosta.

‖ε‖ = 0.01max(g(x)), ε ∼ N(0, σ2) (7.4)

102

7.2. TULOKSET 103

Tarkasteltaessa diskretointiriippumattomuutta, niin otetaan samat välttämättö-mät ehdot käyttöön kuin yksiulotteisissa tapauksissa oli. Normiehtona käytetäänkaksiulotteisessa tapauksessa normin L2 ([0, 1] × [0, 1]) diskretointia

(∫ 1

0

∫ 1

0(fratk(y))2 dy1dy2

)

1

2

≈(

1

N

N∑

i=1

(fratk(yi))2

)

1

2

=1

P‖fratk‖ . (7.5)

7.2 Tulokset

Mittausarvot lasketaan 20× 20 hilassa. Mittausarvoihin lisätään valkoista normaa-lijakautunutta kohinaa yksi prosentti mittauksen maksimiarvosta. Mittaukset ja al-kuperäinen funktio on esitetty kuvassa 7.1. Ratkaisussa lasketaan pelkästään mak-simi a posteriori –estimaatteja posteriorijakaumasta. Posteriorijakaumien näytteis-täminen jätetään jatkotutkimuksia varten.

Jotta vältyttäisiin inversiorikokselta, niin vältetään 20× 20 hilan käyttöä inver-siossa. Tulokset lasketaan neljässä eri hilassa 15× 15, 30× 30, 45× 45 ja 60× 60.Kuvassa 7.2 on nollannen kertaluvun regularisoinnilla ratkaistu maksimi a poste-riori –estimaatti. Estimaatti säilyttää visuaalisesti muotonsa diskretointia muunnet-taessa; ainoastaan pienimmässä hilassa 15×15 ratkaisu ei säily visuaalisesti. Tämäjohtuu hilan karkeudesta. Samoin L2-normi pysyy suunnilleen vakiona muunnet-taessa diskretointia. Täten ratkaisua voidaan pitää diskretointiriippumattomana. Onhuomattavaa, että visuaaliselta kannalta on melkein sama onko ratkaisu 45×45 vai60×60 hilassa. Täten resoluutiota ei kannata turhaan parantaa, sillä tuntemattomienlukumäärä kasvaa toisessa potenssissa P 2. Tällöin laskentavaatimukset kasvavat,mutta lisäinformaatiota tuntemattomasta ei kuitenkaan saada.

Kuvissa 7.3 ja 7.4 on ensimmäisen ja toisen kertaluvun ratkaisut. Samoin kuinnollanen kertaluvun tapauksissa, niin myös näissä tapauksissa ratkaisut ova samoil-la argumenteilla diskretointiriippumattomat. Kuvassa 7.5 on laskettu toisen kerta-luvun ratkaisu toisella regularisointiparametrilla. On huomattavaa, että vaikka tämäratkaisu ei anna oikean näköistä vastausta, niin silti ratkaisu täyttää välttämättömätehdot diskretointiriippumattomuudelle.

104 LUKU 7. KUVAN TERÄVÖITTÄMINEN

100 200 300 400

10−4

10−3

10−2

0 0.5 10

0.5

1

0 1

0 0.5 10

0.5

1

0.005 0.025

PSfrag replacements

λ

y1

y 2

x1

x2

Kuva 7.1: Ylhäällä: Teoriamatriisin singulaariarvot, kun sumentaja γ = 10, ratkai-suhila kooltaan 60 × 60 ja mittaukset tehty 20 × 20 hilassa. Vasemmalla alhaalla:Mallifunktio f(y). Oikealla alhaalla: Mittaukset g(x), joihin lisätty kohinaa viisiprosenttia mittauksen maksimiarvosta.

7.2. TULOKSET 105

0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

PSfrag replacements

y1

y 2P = 15, ‖f‖/P = 0.3518

y1y 2

P = 30, ‖f‖/P = 0.3521

y1

y 2

P = 45, ‖f‖/P = 0.3521

y1

y 2

P = 60, ‖f‖/P = 0.3521

−1 0 1

PSfrag replacements

y1

y2

P = 15, ‖f‖/P = 0.3518

y1

y2

P = 30, ‖f‖/P = 0.3521

y1

y2

P = 45, ‖f‖/P = 0.3521

y1

y2

P = 60, ‖f‖/P = 0.3521

Kuva 7.2: Nollannen kertaluvun regularisointi: γ = 10, kohinataso viisi prosenttiamittauksen maksimi-intensiteetistä, regularisointiparametri α = 1.


0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

PSfrag replacements

y1

y 2

P = 15, ‖f‖/P = 0.3915

y1

y 2

P = 30, ‖f‖/P = 0.3878

y1

y 2

P = 45, ‖f‖/P = 0.3871

y1

y 2

P = 60, ‖f‖/P = 0.3866

−1 0 1

PSfrag replacements

y1

y2

P = 15, ‖f‖/P = 0.3915

y1

y2

P = 30, ‖f‖/P = 0.3878

y1

y2

P = 45, ‖f‖/P = 0.3871

y1

y2

P = 60, ‖f‖/P = 0.3866

Kuva 7.3: Ensimmäisen kertaluvun regularisointi: γ = 10, kohinataso viisi pro-senttia mittauksen maksimi-intensiteetistä, regularisointiparametri α = 10−3.

7.2. TULOKSET 107

0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

PSfrag replacements

y1

y 2P = 15, ‖f‖/P = 0.4212

y1y 2

P = 30, ‖f‖/P = 0.4148

y1

y 2

P = 45, ‖f‖/P = 0.4137

y1

y 2

P = 60, ‖f‖/P = 0.4131

−1 0 1

PSfrag replacements

y1

y2

P = 15, ‖f‖/P = 0.4212

y1

y2

P = 30, ‖f‖/P = 0.4148

y1

y2

P = 45, ‖f‖/P = 0.4137

y1

y2

P = 60, ‖f‖/P = 0.4131

Kuva 7.4: Toisen kertaluvun regularisointi: γ = 10, kohinataso viisi prosenttiamittauksen maksimi-intensiteetistä, regularisointiparametri α = 10−6.


0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

0 0.5 10

0.5

1

PSfrag replacements

y1

y 2

P = 15, ‖f‖/P = 0.3193

y1

y 2

P = 30, ‖f‖/P = 0.3188

y1

y 2

P = 45, ‖f‖/P = 0.3187

y1

y 2

P = 60, ‖f‖/P = 0.3186

−1 0 1

PSfrag replacements

y1

y2

P = 15, ‖f‖/P = 0.3193

y1

y2

P = 30, ‖f‖/P = 0.3188

y1

y2

P = 45, ‖f‖/P = 0.3187

y1

y2

P = 60, ‖f‖/P = 0.3186

Kuva 7.5: Toisen kertaluvun regularisointi: γ = 10, kohinataso viisi prosenttiamittauksen maksimi-intensiteetistä, regularisointiparametri α = 10−4.

Luku 8

Magnetostaattinen kuvantaminen

Tarkastellaan viimeisenä esimerkkinä ongelmaa, jossa suprajohtavan virtajohti-men virrantiheys määritetään virran indusoiman magneettikentän avulla. Teoriaaon alunperin käsitelty lähteessä [8]. Suprajohteiden kuvantamiseen teoriaa ei kui-tenkaan olla käytetty.

Virtajohdin mallinnetaan äärettömän pitkäksi ja suoraksi. Johtimen rakenneoletetaan tunnetuksi. Virtajohtimen poikkileikkaus määritellään nelikulmiona

Ω =

[

−L

2,L

2

]

×[

−M

2,M

2

]

= [−1.82, 1.82] × [−0.15, 0.15]. (8.1)

Yksiköiden oletetaan olevan millimetrejä. Virtajohtimessa oletetaan olevan 55suprajohtavaa säiettä (engl. filament). Johtimen poikkileikkauksessa niiden olete-taan olevan järjestäytyneenä kuvan 8.1 mukaisesti.

−2.025 2.025−0.1175


x

y

Kuva 8.1: Poikkileikkauksen virrantiheysmalli. Punaisella on merkitty suprajohta-vat säikeet ja valkoisella niiden välissä oleva eriste.

Kokeellista tietoa siitä, kuinka virrantiheys käyttäytyy tämän kaltaisessa supra-johteessa ei ole olemassa. Intuitiivisesti vaihtovirralle voidaan olettaa, että virranti-heys on voimakkaimmillaan uloimmissa säikeissä ja keskellä saattaisi kulkea heik-ko virta vastakkaiseen suuntaan.

109

110 LUKU 8. MAGNETOSTAATTINEN KUVANTAMINEN

−2.025 2.025−0.1175


x

y

−1 0 1

PSfrag replacements

xy

Kuva 8.2: Poikkileikkauksen virrantiheys. Punaisella on merkitty suprajohtavat vir-ta positiiviseen suuntaan ja vaaleansinisellä negatiiviseen suuntaan.

8.1 Suora teoria

Virran indusoimaa magneettikenttää voidaan mitata virtajohtimen yläpuolellaolevilla Hall-sensoreilla. Virran indusoima magneettikenttä määritellään Biot-Savart’n lailla. Magneettikenttä yksikkövektorin n –suuntaan määritellään ensim-mäisen lajin Fredholmin yhtälöllä [21]

n · B(x, y) =µ0

2π

∫

Ω

(η − y) cos(

γπ2

)

+ (x − ξ) sin(

γπ2

)

(x − ξ)2 + (y − η)2J(ξ, η)dξdη. (8.2)

Yksikkövektori määritellään

n =(

cos(γπ

2

)

, sin(γπ

2

))T

. (8.3)

Valitsemalla γ = 0, 1 saadaan sekä magneettikentän horisontaali- ja vertikaali-komponentti.

Hall-sensorit asetetaan tasavälisesti riviin virtajohtimen yläpuolelle. Sensoreis-ta puolet mittaavat magneettikentän horisontaalista ja puolet vertikaalista kompo-nenttia. Simuloinnissa käytetään yhteensä 162 sensoria, eli 81 komponenttisuun-taan. Teoreettisesti olisi mittausten kannalta paras, mikäli sensorit voitaisiin laskeamahdollisimman lähelle virtajohtimen pintaa. Käytännössä tämä ei ole mahdollis-ta. Tässä simuloinnissa oletetaan, että virtajohtimen pinnan ja sensorin välissä on0.23 millimetrin väli.

8.2 Simulointi

Simuloinnissa määrittelyalue Ω jaetaan suorakulmaisiin pikseleihin

Ω = F⋃

(Ω\F) =

(

n⋃

i=1

Fi

)

⋃

m⋃

j=1

Ωj

. (8.4)

8.2. SIMULOINTI 111

0 80 160

10−13

10−7

10−1

−2 0 2

−0.05

−0.025

0

−2 0 2

−0.02

0


H:n

omin

aisa

rvot

Bho

rison

taal

i

x

Bve

rtika

ali

x

Kuva 8.3: Ylhäällä: Teoriamatriisin ominaisarvot. Keskellä: Magneettikenttä hori-sontaalisuuntaan. Alhaalla: Magneettikenttä vertikaalisuuntaan.


Fi on suprajohdepikseli ja Ωj on eristepikseli. Ratkaisussa oletetaan, että supra-johteen rajat ∂F tunnetaan tarkasti.

Nollannen kertaluvun regularisointi

xi ∼

N(

0, s1

h1h2

)

, kun xi ∈⋃Fi

N(

0, s2

h1h2

)

, kun xi ∈⋃

Ωi

, s2 s1. (8.5)

Ensimmäisen kertaluvun

xi − xi−1 ∼

N(

0, s1h1

h2

)

, kun xi, xi−1 ∈ ⋃Fi

N(

0, s2h1

h2

)

, kun xi, xi−1 ∈ ⋃Ωi

N(

0, s3h1

h2

)

, kun xi, xi−1 ∈ N (∂F )

,s1 s3

s1 s3(8.6)

Merkinnällä N (∂F) tarkoitetaan suprajohteen ja eristeen rajan ympäristöä. Toi-seen koordinaattisuuntaan saadaan regularisointi samalla tavalla.

Toisen kertaluvun regularisointi saa muodon

− xi+1 + 2xi − xi−1 ∼

N (0, s1h1h2), kun xi+1, xi, xi−1 ∈ ⋃Fi

N (0, s2h1h2), kun xi+1, xi, xi−1 ∈ ⋃Ωi

N (0, s3h1h2), kun xi+1, xi, xi−1 ∈ N (∂F )

,

s1 s3, s2 s3 (8.7)

Virrantiheyskentän määrittäminen on vaikea tehtävä. Tämä voidaan tehdäuseilla tavoilla:

1. Mittausten jälkeen leikataan suprajohde poikki mekaanisesti. Tällöin toden-näköisyystiheys voidaan määrätä tarkasti tunnelointimikroskoopin avulla.Ongelmana on tietenkin se, että suprajohde tuhoutuu käsittelyssä. Tätä ta-pausta voidaan laajentaa olettamalla suprajohteiden olevan samalla valmis-tajalla samanlaista koko suprajohdejohdossa.

2. Suprajohteen virranjohtavuuden voidaan olettaa olevan vakio huoneen läm-pötilassa. Täten voidaan tehdä mittaus, jolla määritetään todennäköisyysti-heys suprajohteessa.

Parhaan tuloksen virrantiheyden todennäköisyyden määräämisessä saa tarkastele-malla molempia tekniikoita yhdessä.

Tässä luvussa käytetään diskretointiriippumattomuuden tarkastelussa välttä-mättöminä heuristisina ehtona L2

([

−L2 , L

2

]

×[

−M2 , M

2

])

–virhenormia. Merki-

8.3. TULOKSET 113

tään sen diskretointia yksinkertaisuuden vuoksi ∆(J − Jratk).

(

∫ L

2

−L

2

∫ M

2

−M

2

(J(x, y) − Jratk(x, y))2 dxdy

)1

2

≈(

L

l

M

m

m+n∑

i=1

(Ji − Jratki)2)

1

2

=

(

L

l

M

m

)1

2

‖J − Jratk‖ = ∆(J − Jratk) (8.8)

Toisena välttämättömänä ehtona käytetään jälleen sitä, että kuvien tulee visuaali-sesti näyttää samanlaisilta.

8.3 Tulokset

Tulokset ratkaistaan kolmessa eri hilassa (50, 21), (75, 21) ja (100, 21) maksimi aposteriori –estimaateilla. Tulokset ovat kuvissa 8.4,8.5 ja 8.6. Korkeussuunnassa eipikselikokoa varioida tässä simulaatiossa ollenkaan.

Diskretointiriippumattomuuden tarkastelussa ongelmia tulee tarkasteltaessavirhenormia 8.8. Diskretointi on kaikissa tapauksissa melko karkea ja tarkastelta-van suprajohteen yksityiskohdat ovat hyvin pieniä. Tällöin virhenormi voi heitelläsuuresti eri ratkaisuissa. Täten ratkaisua pidetään diskretointiriippumattomana, mi-käli kuvat ovat visuaalisesti toistensa näköisiä. Kuvaajat näyttävätkin visuaalisestisamanlaisilta eri diskretoinneilla ja täten ratkaisuja voidaan pitää diskretointiriip-pumattomina.

On huomattavaa, että tämä esimerkki ei ole kovin hyvä diskretointiriippumat-tomuuden esittämiseen, sillä teoriafunktio on monimutkainen. Tarkempia tuloksiakaksiulotteisista esimerkeistä saadaankin käyttämällä yksinkertaisempia esimerk-kejä.

Tässä luvussa esitelty tapa mallintaa suprajohteiden virrantiheyttä ei ole kovinihmeellinen. Helpompi tapa mallintaa virrantiheyttä - silloin kun suprajohteen ra-kenne tunnetaan - olisi ottaa huomioon pelkästään suprajohteet. Eristeiden ottami-nen huomioon on fysikaaliselta kannalta turhaa. Tällöin koko systeemi voitaisiinkuvata tarkasti 55 muuttujalla. Nyt muuttujia oli parhaimman resoluution diskre-toinnissa 2100, joka tekee laskennasta erittäin rankkaa.


−2.025 2.025−0.1175

0.1175

−2.025 2.025−0.1175

0.1175

−2.025 2.025−0.1175

0.1175

PSfrag replacements

x

x

x

yy

y

(l, h) = (50, 21) ∆(J − Jratk) = 0.1415

(l, h) = (75, 21) ∆(J − Jratk) = 0.1429

(l, h) = (100, 21) ∆(J − Jratk) = 0.1719

−1 0 1

PSfrag replacements

xy

(l, h) = (50, 21) ∆(J − Jratk) = 0.1415

(l, h) = (75, 21) ∆(J − Jratk) = 0.1429

(l, h) = (100, 21) ∆(J − Jratk) = 0.1719

Kuva 8.4: Ratkaistu suprajohde nollannen kertaluvun regularisoinnilla. Regulari-sointiparametrit ovat s1 = 10−3 ja s2 = 101.

8.3. TULOKSET 115

−2.025 2.025−0.1175

0.1175

−2.025 2.025−0.1175

0.1175

−2.025 2.025−0.1175

0.1175

PSfrag replacements

x

x

x

yy

y

(l, h) = (50, 21) ∆(J − Jratk) = 0.1195

(l, h) = (75, 21) ∆(J − Jratk) = 0.1015

(l, h) = (100, 21) ∆(J − Jratk) = 0.1144

−1 0 1

PSfrag replacements

xy

(l, h) = (50, 21) ∆(J − Jratk) = 0.1195

(l, h) = (75, 21) ∆(J − Jratk) = 0.1015

(l, h) = (100, 21) ∆(J − Jratk) = 0.1144

Kuva 8.5: Ratkaistu suprajohde ensimmäisen kertaluvun regularisoinnilla. Regula-risointiparametrit s1 = s2 = 102 ja s3 = 10−4.


−2.025 2.025−0.1175

0.1175

−2.025 2.025−0.1175

0.1175

−2.025 2.025−0.1175

0.1175

PSfrag replacements

x

x

x

yy

y

(l, h) = (50, 21) ∆(J − Jratk) = 0.0999

(l, h) = (75, 21) ∆(J − Jratk) = 0.1014

(l, h) = (100, 21) ∆(J − Jratk) = 0.0989

−1 0 1

PSfrag replacements

xy

(l, h) = (50, 21) ∆(J − Jratk) = 0.0999

(l, h) = (75, 21) ∆(J − Jratk) = 0.1014

(l, h) = (100, 21) ∆(J − Jratk) = 0.0989

Kuva 8.6: Ratkaistu suprajohde toisen kertaluvuen regularisoinnilla. Regularisoin-tiparametri 10−9.

Luku 9

Yhteenveto

Tässä diplomityössä on käsitelty inversio-ongelmien regularisointia. Painopiste oliregularisointikovarianssin systemaattisessa valinnassa Bayesin regularisoinnissa.Regularisointikovarianssit johdettiin funktioarvoisten stokastisten prosessien avul-la. Regularisointikovariansseissa otettiin huomioon tuntemattoman diskretoinninvaikutus. Tällöin diskretointia pystyttiin muuttamaan niin, että ratkaisun eli poste-riorijakauman muoto säilyi. Ilmiötä kutsutaan tuntemattomien diskretointiriippu-mattomuudeksi. Yksiulotteisessa tapauksessa näytettiin kuinka loppu regularisoin-tikovarianssista pystytään valitsemaan, kun tuntemattoman käyttäytyminen tiede-tään prioristi. Täten koko regularisointikovarianssille saatiin luonnollinen tilastol-linen tulkinta.

Perinteisesti regularisointikovarianssi on usein valittu tilastollisessa inversio-teoriassa käytännön pohjalta. Optimointimenetelmissä on saatettu käyttää erilaisiaheuristisia hakumenetelmiä. Tällöin on hyvin vaikea ymmärtää miksi algoritmittoimivat, eikä algoritmilla ole suoraa tilastollista tulkintaa. Tässä työssä esitellyilläprioreilla päästään askelta lähemmäksi koko regularisointikovarianssin systemaat-tista valintaa. Siihen kysymykseen, miten alkuperäinen regularisointikovarianssitulisi valita yleisessä tapauksessa ei pystytty vastaamaan, eikä se ollut tarkoitus-kaan.

Diskretointiriippumattomuutta tarkasteltiin useiden esimerkkien avulla. Suu-rimmassa osissa tapauksia päästiin diskretointiriippumattomuuteen. Ongelman ai-heutti nollannen kertaluvun regularisointi esimerkkinä olleessa funktion estimoin-nissa, jossa diskretointiriippumattomuus ei toiminut. Lisäksi ongelmia tuli suuressaosassa esimerkkejä pienimmillä tuntemattomien lukumäärillä. Ongelmat johtune-vat diskretoinnin karkeudesta.

Diskretointiriippumattomuuden tutkimisessa on edelleen paljon tekemistä sekäpuhtaasti matemaattisen analyysin alueella että simulointien teossa. Perusongelma-na on määritellä välttämättömät ja riittävät ehdot diskretointiriippumattomuudelle.Tämän työn valossa on nähty vasta, että diskretointiriippumattomuus riippuu teo-riafunktiosta ja priorista. Lisäksi on tutkittava differenssiregularisoinnin yleistä-

117

118 LUKU 9. YHTEENVETO

mistä ja muun tyyppisten diskretointiriippumattomien priorien käyttöä.Diskretointiriippumattomuutta on käsitelty eri lähteissä sekä puhtaasti analyy-

sin kannalta että numeeristen esimerkkien avulla. Olisi mielenkiintoista nähdä mi-ten tässä työssä käytetyt priorit ovat yhteydessä analyysin puolella saatuihin tulok-siin.

Edellä esitetyt jatkotutkimusaiheet ovat matemaattisesti hyvin vaikeita. Tärkeälähitulevaisuuden tehtävä onkin tehdä kaksiulotteisista esimerkeistä laaja kokoel-ma. Ennen kaikkea on mietittävä regularisointiparametrin määritelmää kahdessaulottuvuudessa.

Lisäksi on tutkittava esimerkeissä läpikäytyjä ilmiöitä. Mistä johtuu funktionestimoinnissa esiin tulevat interpolaatiot? Tähän on optimointipuolella vastattu,mutta asia vaatii tilastollisen tulkinnan. Numeerinen derivointi on monipuolinentutkimusalue, jossa voitaisiin seuraavaksi keskittyä moniulotteisten tapausten tut-kintaan. Suprajohteiden sähkömagneettinen kuvantaminen on uusi ala, jonka tutki-mukseen olisi suunnattava suurempia resursseja. Erityisen mielenkiintoiseksi alantekee mahdolliset teollisuussovellukset, kuten suprajohteiden laadunvalvonta.

Kirjallisuutta

[1] Anderssen, R. S., Bloomfield, P.: Numerical Differentiation Procedures forNon-Exact Data. - Numer. Math. 22, 157-182 (1974).

[2] Baker, C. T. H.: The Numerical Treatment of Integral Equations. - ClarendonPress, Oxford (1977).

[3] D’Ambrogi, B., Mäenpää, S., Markkanen, M.: Discretization IndependentRetrieval of Atmospheric Ozone Profile. - Geophysica, 35(1-2), 87-99 (1999).

[4] Davis, P. J. M., Rabinowitz, P.: Methods of Numerical Integration. - Acade-mic Press, New York (1975).

[5] Delves, L. M., Walsh, J.: Numerical Solution of Integral Equations. - Claren-don press, Oxford (1974).

[6] Doob, J. L.: Stochastic Processes. - Wiley publications in statistics, New York(1953).

[7] Engl, H. W., Hanke, M., Neubauer, A.: Regularization of Inverse Problems. -Kluwer Academic Publishers, Dordrecht, (1996).

[8] Fokas, A. S., Gel’fand, I. M., Kurylev, Y.: Inversion method for magne-toencephalography. - Inverse Problems, v12, n 3, p. L9-L11, June (1996).

[9] Gel’fand, I. M., Vilenkin, N. Ya.: 4: Applications of harmonic analysis. - NewYork, Academic Press (1964).

[10] Haario, H., Laine, M, Lehtinen, M., Saksman, E., Tamminen, J.: MCMC met-hods for high dimensional inversion in remote sensing, (julkaistaan myöhem-min).

[11] Hadamard, J.: Lectures on the Cauchy Problem in Linear Partial Differentialequations. - Yale University Press, New Haven, USA, (1923).

[12] Hansen, P. M.: Regularization Tools, A Matlab Package for Analysis andSolution of Discrete Ill-Posed Problems. - Technical University of Denmark(1992).

119

120 KIRJALLISUUTTA

[13] Kaipio, J.: Inverse problems I. - Fysiikan laitos, Kuopion yliopisto, Luento-moniste (2002).

[14] Kaleva, O.: Stokastiset prosessit. - Matematiikan laitos, Tampereen teknilli-nen yliopisto, Luentomoniste, (2003).

[15] Kolehmainen, V.: Novel approaches to image reconstruction in diffusion to-mography. - Kuopion yliopiston julkaisuja c. luonnotieteet ja ympäristötieteet125, väitöskirja, Kuopion yliopisto (2001).

[16] Lasanen, S.: Discretizations of Generalized Random Variables with Applica-tions to Inverse Problems. - Annales Academiæ Scientiarum Fennicae, Mat-hematica, Dissertationes 130, väitöskirja, Oulun yliopisto (2002).

[17] Lehtinen, M.: Discretization independent inversion in star occultation measu-rements. - Sodankylän geofysiikan observatorio, raportti, (2002).

[18] Lehtinen, M.: Regularisation and a priori information in retrieval of profiles.- Luentokalvot, Envisat Kick-Off Meeting, Luosto, (23.-24.3.1999).

[19] Louis, P. M., Maass, P.: A mollifier method for linear operator equations ofthe first kind. - Inverse Problems 6, 427-440, (1990).

[20] Petrov, G. M.: A simple algorithm for spectral line deconvolution. - Journalof Quantitative Spectroscopy and Radiative Transfer 72 (2002) 281-287.

[21] Piché, R. Masti, M.: Magnetostatic Imaging of Superconducting Filaments. -Tampereen teknillinen yliopisto, raportti (2003).

[22] Piché, R.: magimag ohjelman spesifikaatiot. - Tampereen teknillinen yliopisto(2003).

[23] Ramm, A. G., Smirnova, A. B.: On Stable Numerical Differentiation. - Mat-hematics of Computation, vol 70, number 235, p. 1131-1153 (2001).

[24] Sahasrabudhe, S. C., Kulkarni, A. D.: On Solving Fredholm Equations ofFirst Kind. - Journal of the Association for Computing Machinery, Vol 24,No 4, pp. 624-629, October (1977).

[25] Salo, M.: Edge-Preserving Deconvolution. - Diplomityö, matematiikan laitos,Teknillinen korkeakoulu (2003).

[26] Somersalo, E.: Inversio-ongelmat ja mittausten tulkinta. - Matematiikan lai-tos, Teknillinen korkeakoulu, luentomuistiinpanot (1998).

[27] Tarantola, A.: Inverse Problem Theory: Methods for Data Fitting and Para-meter Estimation, Amsterdam, Elsevier, (1987).

KIRJALLISUUTTA 121

[28] Vaughan, J. M.: The Fabry-Perot interferometer : history, theory, practice andapplications, Bristol, Adam Hilger, cop. (1989).

[29] Wahba, G.: Spline Models for Observational Data. - SIAM, Philadelphia(1990).

[30] GULIPS User’s Manual, Invers oy (2000).

[31] Keskustelut Markku Markkasen kanssa (Sodankylän geofysiikan observato-rio).

[32] Alkuperäinen idea Ilkka Norrokselta (VTT).

[33] Keskustelut Eero Saksmanin kanssa (Jyväskylän yliopisto).

lassi roininen - tty/matematiikan laitosmath.tut.fi/julkaisut/pdf/di_lassi_roininen.pdf ·...

Documents