t-76.115 edistymisraportti

T-76.115 Edistymisraportti

ExtraTerrestriaLsI1 iteraatio

30.11.2004

2

T-76.115 Edistymisraportti - ExtraTerrestriaLsT-76.115 Edistymisraportti - ExtraTerrestriaLs

Agenda

Projektin tilanne (10 min) Projektin esittely, jos paikalla uusia henkilöitä I1-vaiheen tavoitteiden saavuttaminen Projektin tavoitteet ryhmän ja asiakkaan kannalta Käytetyt työtavat

Työn tulokset (15 min) I1-iteraation tuotokset Tehtävien toteutuma Ajankäyttö ja arvio tulevasta ajankäytöstä Laadunarviointi Muutokset projektiin Riskienhallinta

Iteraation tuotoksien esittely (20 min) Demo

3


Projektin esittely

ETL-työkalu ETL tarkoittaa tiedon varastoinnissa käytettävää prosessia Tiedot haetaan lähdejärjestelmistä, niille tehdään muokkauksia ja ne

talletetaan tietovarastoon ETL-työkalun on oltava kevyt, yksinkertainen ja fokusoitu väline Kehitettävän järjestelmän on toteutettava ETL-työkalun

perusominaisuudet Toimenpiteet, jotka muokkaavat tietoa Oliot, jotka ovat toimenpiteiden syötteitä tai tuloksia, sisältävät tietoa ja

kuvataan usein relaatiokannan tauluina Prosessi, joka koostuu toimenpiteistä, joilla on yksi tai useampi syöte ja tulos Kuvauskieli, jolla käyttäjä kuvaa prosessit moottorille ETL-moottori, joka suorittaa prosessin kuvauskielen pohjalta Dokumentaation generointi prosessista

Aihetta voidaan pitää vaativana Hyvä tietotaito tietokannoista tarpeellinen Tietovarastoinnin tarpeet ymmärrettävä

4


I1-iteraatiosuunnitelmassa määrittelyt tavoitteet

Tavoite: Työtapojen ja työajan optimointi Työtavat ja toiminta on ollut toimivaa. Mitään isompia ongelmia epäselvistä

tavoista ei ole aiheutunut Tavoite: Kokouksien vähentäminen ja osallistujajoukon vähentäminen

Tunteina väheni 49 43 h, joten ero ei ole suuri. Ero selittyy enemmän sillä, että paikallaolijoita on ollut vähemmän.

Tavoite: Kommunikoinnin parantaminen Uutisryhmää on kehitetty useaan osaan selkeyttä helpottamaan. Viestejä noin

600 ja uusia tulee parhaimmillaan yli 10 päivässä Asiakaskontaktit viikoittaisia ja antavat paljon intoa Ryhmän jäsenten kommunikointi tehdyistä töistä vaatii huomiota jatkossa

Tavoite: Arkkitehtuurista ja teknistä suunnittelua On tehty hartiavoimin varsinkin kuvauskielen tiimoilta

Tavoite: Kriittisten toimintojen toteuttaminen Kesken. Perusrakenteet tehty, mutta osa tavoitteluista osista jäi tekemättä

Tavoite: Demo-versio työkalusta Demo toteutetaan kalvojen avulla, mutta on tehty.

5


Ryhmän tavoitteiden tilanne (koko kurssin tavoitteet)

Tavoite: Kehittää jatkokehityskelpoinen tietovarastointijärjestelmän runko

Runkoa tehty, mutta jatkokehityskelpoisuus on vielä suhteellista Tavoite: Oppia työskentelemään ja kehittää taitojaan

ohjelmistoprojektissa Työtä tämän eteen on tehty ja oppimista saatu. Kyselyä ja äänestystä

tuloksista ei ole tehty. Tavoite: Oppia toimimaan osana ohjelmistokehitysryhmää ja

kehittää omaa tietotaitoa asian tiimoilta Työtä tämän eteen on tehty. Kyselyä ja äänestystä tuloksista ei ole tehty.

Tavoite: Kurssin menestyksellinen suoritus annettujen rajoitteiden puitteissa (tuntimäärät)

Tuntien lisääntyessä uhka tuntien ylittämiseen lisääntyy. Menestyksellisyyden eteen ryhmä tekee kovasti töitä

Arviointi vaikeata ilman ryhmän sisäistä äänestystä.

6


Asiakkaan tavoitteiden tilanne (koko kurssi)

Tavoite: Toiminnoiltaan karsittu ETL-työkalu, jonka perusteella voimme päättää jatketaanko oman ETL-työkalun kehitystä

Työn alla Tavoite: ETL-työkalun kuvauskieli, joka on laajennettavissa tarpeen mukaan

Osittain toteutunut, tosin käytännön kokemuksia toimivuudesta ei vielä ole Tavoite: Riittävä operaatioiden rajapinta, jotta sitä voidaan käyttää myöhemmin

toteutettavien operaatioiden toteuttamiseen Rajapinnat suunniteltu ja käytössä. Niiden kelpoisuutta ei tosin ole vielä testattu tositoimissa

Tavoite: Versio ETL-työkalusta, josta voidaan jatkojalostaa käyttökelpoinen kehittynyt versio (ohjelman perustukset tehty huolella)

Työn alla Tavoite: ETL-työkalu toimii vaatimusten mukaisesti

Työn alla Tavoite: ETL-työkalun prosessien dokumentointitoiminnosta prototyyppi-tasoinen

versio Työn alla

Tavoite: ETL-työkaluun liittyvien, uusien tekniikoiden testaus käytännössä Työn alla

Tavoite: Tietovarastopuolen kehittäminen Työn alla

Tavoite: Tarjota parempia palveluita asiakkaille Työn alla ja voidaan arvioida vasta kun projekti valmistumassa

Tavoite: Asiakaskunnan kasvattaminen uuden työkalun avustuksella Työn alla ja voidaan arvioida vasta kun projekti valmistumassa

7


I1-vaiheen tuotosten tilanne

Projektisuunnitelma OK

Laadunvarmistus OK

Vaatimusmäärittely OK

Riskienhallinta OK

SEPA-päiväkirjat OK, tosin tarkempaa arviointia niiden tilanteesta ryhmän

kesken ei ole tehty Tekninen spesifikaatio

OK, mutta vaatii vielä kehitystä

8


Käytetyt työtavat

Uutisryhmät Uutisryhmä keskustelulle Uutisryhmä tiedostojen jakamiselle

Dokumenttien katselmointi Dokumentit on käyty läpi useamman henkilön ryhmissä Pyritty tehostamaan katselmointeja

Tuntikirjanpito (Trapoli) Käytetyistä työtunneista on tehty merkintä Trapolin tuntikirjanpitoon

Versionhallinta Käytetty CVS:ää

Virheiden seuranta Otettu käyttöön JIRA Selvitty ongelmista

Seuraavissa iteraatiossa mukaan otettavat työtavat Testausmenetelmät

Toteutus Käytetty Eclipse-kehitysympäristöä

9


Tehtävien toteutuma (1/3)

10



Suunniteltu I1-vaiheelle 338 h ja toteutunut 352 h. 14 h arvioitua enemmän työtä

Ryhmätapaamisiin kulunutta aikaa saatiin vähennettyä hieman, 6 tuntia vähemmän kuin PP-vaiheessa

Projektin hallinta vaatinut 31 h Isompia eroja vaatimusmäärittelydokumentin päivitykseen arvioidussa

ajassa. Arvioitu 16 h, toteutui 1,5 h. Mikä on positiivista. Testitapauksien suunnitteluun oli arvioitu 20 h, toteutunut 8,5 h.

Uutena PP-vaiheen jälkeen Tarkempi tehtävien määrittely kun sisältö paremmin tiedossa Parantunut arvioituvuus

Ryhmä tuntee toisensa paremmin Ryhmä tuntee asiakkaan paremmin

Opittu PP-vaiheen ongelmista ja pilkottu tehtäviä tarkemmin

11



Aiheen vaativuuden ja asiakkaan pyynnöstä keskitytty suunnitteluun

Kuvauskieli työkalun tärkein osa ja se pitää määritellä hyvin

Varsinaiselle toteutukselle jäi arvioitua vähemmän aikaa

Asiakastapaamisten anti ollut erittäin tärkeätä ja kehittävää

I 1-vaiheen tunnit

Suunnittelu 28 %

Dokumentointi 24 %

Infra 2 %

Tapaamiset 27 %

Ohjelmointi 6 %

Projektin hallinta 8 %

Opiskelu 4 %

Testaus 1 %

12


Työmäärät per viikko

0 h 20 h 40 h 60 h 80 h 100 h 120 h

tuntimäärä

vko 40-41

vko 42

vko 43

vko 44

vko 45

vko 46

vko 47

vko 48

Vii

kko

Työmäärät per viikko

Töitä tehty 706 tuntia. Noin 53 % kokonaismäärästä. Viikkona 45 PP-vaiheen palautus Viikkona 48 alustavaa työtä I1-vaiheen palautusta varten ja teknistä spesifikaatiota.

13


Työtunnit per ryhmän jäsen (1/8)

Ryhmän jäsenien vastuualueet määrittelivät paljon työn jakautumista Asiakkaan pyynnöstä keskityttiin kuvauskielen määrittelyyn ja

arkkitehtuuriin. Alkuperäisten vastuualueiden kautta töitä tuli enemmän osalla jäsenistä

Osan jäsenten kurssista riippumattomat syyt veivät heidän aikaansa odotettua enemmän

Toteutunut Suunniteltu EroMikko 60 48 10Jani H 87 50 37Jani M 38 50 -12Risto 41 60 -22Mika 42 40 2Teemu 55 45 10Timo 39 45 -6Yhteensä 362 338 +19

Toteutuneet tunnit I1-vaiheessa

14



Arvioitu työmäärä I1-vaiheen lopussa oli 110 h ja toteutunut 136 h.

Projektin hallintaan kulunut noin 4h/viikko

Työmäärän ylitykseen syynä pääasiallisesti aiheen vaativuus ja suunnittelun arvioidusta lisääntynyt määrä.

Mikko: Toteutuneet tunnit

15



Tunteja kertyi 10 suunniteltua enemmän (55.5 h)

Syynä oli mm. tietokantarajapinnan käyttöönoton ongelmat sekä tekniset ongelmat uuden versionhallintapalvelimen käyttöönotossa

Epäselvyys JDBC-tehtävänannossa johti sen toteutuksen viivästymiseen

Teemu: Toteutuneet tunnit

16



Tunteja kertyi 37 suunniteltua enemmän (yht. 87 h).

Oli etukäteen tiedossa, että projekti on suunnittelupainotteinen ja että arkkitehdillä tulee olemaan paljon työtä alkuvaiheessa.

Tuntimääräarvion huomattava ylitys johtuu etupäässä siitä, että jouduin olemaan odotettua enemmän mukana eri osa-alueiden suunnittelussa.

Myös vaatimukset muuttuivat I1-vaiheen aikana odotettua enemmän, mikä aiheutti lisätyötä.

Jani H: Toteutuneet tunnit

NAME HOURS

*TOTAL* 143.40

DS:Arkkitehtuurin suunnittelu 13.50

DS:Arkkitehtuurista suunnittelua 11.50

TA40-DO: Tekninen spesifikaatio 10.50

DS:Vaatimusmäär. kirjoitusta 10.00

TA26-KV: Kuvauskielen rakenteen suunnittelu

9.70

GE:Ryhmätapaaminen 9.20

DS:Teknologian opiskelua 9.00

TA10-MO: Datanvälityksen suunnittelu 7.50

GE:Asiakastapaamiset 6.50

GE:Ryhmätapaamiset 6.50

PM:Projektin hallinta 5.00

GE:Asiakastapaaminen 4.50

TA19-TS: Perustoimenpiteiden toteutus 1 4.00

TA16-TS: Toimenpiteiden suunnittelu 1 3.50

IM:ETL-moottori 3.00

TA11-MO: Moottorin perustoteutus 3.00

TA9-MO: Moottorin rajapintojen suunnittelu 3.00

TA41-DO: Edistymisraportti 2.50

NAME HOURS

TA41-DO: Edistymisraportti 2.50

DS:Projektisuunnitelman kirj. 2.00

DS:Teknisen spesifikaation määr. 2.00

DS:Vaatimusmäär. selvitystä 2.00

GE:Mentor-tapaamiset 2.00

PM:SEPA 2.00

TA15-MO: Dok.generaattorin suunnittelu

2.00

TA34-DW: Muu suunnittelu 2.00

TA38-LL: Tietolähteiden selvitys 2.00

PM:Edistymisraportti 1.50

PM:Katselmoinnit 1.50

DS:Projektisuunnitelman määr. 1.00

TA4-TK: Tietokantojen konfigurointi 1.00

17



Työmäärä jäi huomattavasti pienemmäksi (noin 10 h)

I1-vaihe meni nopeasti ja oli työkiireitä joten päätin siirtää osan tunneista suosiolla I2:een.

Aikaa upposi eniten suunnitteluun ja dokumentointiin.

Sepaa en päässyt tekemään vielä tässä vaiheessa, kun testattavaa ei juuri ollut.

Jani M: Toteutuneet tunnit

18



Aika-arvio piti jälleen varsin hyvin paikkansa, vain muutaman tunnin virheellä

Kuvauskielen ja parsimisen / prosessin rakentamisen tehtävät työllistivät tässä iteraatiossa paljon

Tapaamiset veivät myös paljon aikaa Tähän mennessä käytetty n. 45 %

projektiin varatuista tunneista

Mika: Toteutuneet tunnit PP + I1

19



Tavoitteesta jäätiin muutamalla tunnilla

Kurssin ulkopuoliset velvoitteet estäneet osallistumista loppuvaiheen tapaamisiin

Ongelmia ajan tasalla pysymisessä

Vaaditaan priorisointia I2:n aikana, muut kiireet tulevat vähenemään, mikä edesauttaa suuremman tuntimäärän tekemistä.

Timo: toteutuneet tunnit PP + I1

20



Toteutuneita tunteja oli 20 vähemmän kuin suunniteltuja

Varsinaiseen toteuttamiseen eikä siten myöskään testaukseen päästy vielä tässä iteraatiossa, vaikka näin alunperin suunniteltiin

Iteraation ajalle osui myös viikon mittainen työmatka

Tunneista käytetty tähän mennessä noin kolmannes

Risto: toteutuneet tunnit PP + I1

21


Arvio tulevista työmääristä

Aiheen vaativuus verotti kovasti arkkitehtuuriin osallistuvien henkilöiden tunteja

Aikatauluissa huomioitu pitkä joululoma

Uusin arvio tulevista työmääristä

PP I1 I2 FD YhtMikko 78 60 26 26 190Jani H 56 87 35 12 190Jani M 53 38 59 40 190Risto 25 41 68 56 190Mika 44 42 60 44 190Teemu 54 55 50 31 190Timo 38 39 67 46 190Yhteensä 348 362 365 255 1330

Punaisella on merkitty muuttuneet tiedot

Toteutunut Suunniteltu EroMikko 60 48 10Jani H 87 50 37Jani M 38 50 -12Risto 41 60 -22Mika 42 40 2Teemu 55 45 10Timo 39 45 -6Yhteensä 362 338 +19

Toteutuneet tunnit I1-vaiheessa Suunnitellut tunnit I1-aloitusvaiheessa

PP I1 I2 FD YhtMikko 62 48 40 40 190Jani H 43 50 57 40 190Jani M 51 50 45 44 190Risto 21 60 49 60 190Mika 41 40 58 50 190Teemu 47 45 56 42 190Timo 36 45 64 45 190Yhteensä 301 338 369 321 1330

22


Muutokset projektiin

Mitään suurempia muutoksia projektiin ei ole tehty, alkuperäinen vaatimusmäärittely on pitänyt varsin hyvin paikkaansa. Toteutuksen painopistettä on siirretty entistä enemmän I2-vaiheeseen, ennakoitua vaativamman suunnitteluvaiheen takia.

23


Riskienhallinta

Toimenpiteet Riskejä seurattu jatkuvasti ja niistä keskusteltu ryhmän palavereissa

osa riskeistä osittain toteutunut 24.11. pidetty kokous, jossa riskit kartoitettu järjestelmällisesti

uusia riskejä tunnistettu vanhoja päivitetty

Suurimmat riskit tämänhetkisen arvion perusteella: Vaatimusmäärittely ei onnistu riittävän hyvin

Tämä riski on kuitenkin varsin hyvin hallinnassa, sillä asiakas on osallistunut projektiin aktiivisesti

Liikaa töitä; kaikki eivät pysty järjestämään projektille tarpeeksi aikaa Osittain toteutunut

Uusia riskejä tunnistettu: Siirtyminen suunnittelusta toteutukseen liian hidasta Työmäärä jakautunut epätasaisesti ryhmän kesken – ongelmia jatkossa? Nämä riskit toteutuneet ainakin osittain

24


Koodimetriikat

Metriikoiden käyttö etenkin tässä vaiheessa helposti harhaanjohtavaa, sillä on toteutettu pääasiassa rajapintoja – matalan tason toteutus suurelta osin puuttuu

Tämän vuoksi esitämme vain muutaman tunnusluvun Työkaluna CCCC LOC, NLOC ja COM/LOC valittu, jotta voidaan vertailla muihin projekteihin

LOC = lines of code COM = lines of comments

Tilanne 27.11.2004

LOC 1314

COM 733

LOC/COM 1.8

Luvut eivät sisällä XML/XSD –tiedostoja, ainoastaan Java- koodin

25


Laadunarviointi (1/3)

Blocker tai Critical tason virheitä ei ole avoinna Ohjelmakoodi on tällä hetkellä lähinnä prototyyppi asteella

Prototyyppien testaaminen ongelmallista, koska prototyypille ei ole varsinaista speksiä, jota vastaan testausta voitaisiin suorittaa

Kuvauskielen määrittelyssä ja teknisen spesifikaation luomisessa on käytetty katselmointimenetelmiä

Puutteita arvioitu yhteistyössä asiakkaan kanssa Osaan katselmoinneista tuotu liian keskeneräisiä dokumentteja, ja katselmoinnit

ovat muuttuneet aivoriihen kaltaisiksiLaadun määrittely vaikeaa, koska ei konkreettisia tuotoksia

DE

1122884Käsitelty

00Avoinna

1122884RaportoituTotalI2I1PP

Bugi metriikat

2

0Major

00000Avoinna

28141200Tässä iteraatiossa

Yht.TrivialMinorCriticalBlockers

26


Laadunarviointi (2/3)

Kuvauskieltä on käyty yhdessä läpi asiakkaan kanssa Kehitystä on tapahtunut paljon I1 vaiheessa Perusrakenne on todettu toimivaksi

Tekninen spesifikaatio katselmoitu Osa asioista voidaan määritellä vasta myöhemmin Tähän mennessä päätetyt asiat saatu speksattua

riittävällä tarkkuudella Toimenpiteiden testausta ei aloitettu ETL-moottorin testausta ei aloitettu

Dokumentti Laajuus Laatu Kommentit

Kuvauskieli 2 Perustoteutus käyty läpi asiakkaan kanssa, rakenne

Tekninen spesifikaatio 3 Tähän mennessä tehty spesifikaatio OK, spesifikaatio tarkentuu kuitenkin myöhemmin

Toimenpiteet 0 Testausta ei aloitettu

ETL-moottori 0 Testausta ei aloitettu

Laajuus:

0 = Ei mitään

1 = Vaati jonkin verran työtä

2 = Vaati melko paljon työtä

3 = Vaati paljon työtä

Laatu:

= Laatu on hyvä

= Ei varmuutta

= Laatu on huono

27


Laadunarviointi (3/3) Asiakkaan kanssa pidetyissä palavereissa on käyty läpi I1 vaiheen läpivientiä sekä

projektin läpivientiä yleisesti Kaaviossa on kuvattu asiakkaan tekemien huomautusten ja tarkennusten määrä

koskien I1-vaiheen tuotoksia (Tekninen spesifikaatio, kuvauskieli sekä osin vielä vaatimusmäärittely)

Voidaan todeta, että huomautuksien ja kehitystarpeiden määrä ei ole merkittävästi vähentynyt vaiheen edetessä

Johtuu projektin kokeellisesta luonteesta Kun yksi asia saadaan suunniteltua, tulee lisää kysymyksiä Ei ole välttämättä ollutkaan tarkoituksena tehdä kaikkea yhdellä kertaa Asiakaspalaverit ovat kuitenkin luonteeltaan enemmän aivoriihiä kuin

katselmointitilaisuuksia Asiaan on kuitenkin syytä kiinnittää huomiota

Laatu on osittain subjektiivinen käsite ja asiakas on laadun tärkein arvioija

11.11.04 19.11.04 26.11.04

0

2

4

6

8

10

12

14

16

18

28


Iteraation tuotoksien esittely

Iteraation tuotokset Projektisuunnitelma Vaatimusmäärittely Riskienhallintasuunnitelma SEPA-dokumentit

Pareittain tehdyt SEPA-aiheet PM SEPA

Edistymisraportti

29


I1-Iteraation tuotokset

Projektisuunnitelma (päivitetty) Vaatimusmäärittely (päivitetty) Tekninen spesifikaatio Laadunvarmistus Toteutetut käyttöskenaariot

30


Projektisuunnitelman muutokset

Päivitetyt työmääräarviot Korjattu budjetti

31


Vaatimusmäärittelyn muutokset

Lisätty käyttöskenaariot Lisätty T21: Indeksien poistaminen tilapäisesti rivien lisäyksen ajaksi SCD:n prioriteetti matalaksi Sort-toimenpiteen poistaminen

32


Tekninen spesifikaatio

Suunnitteluun panostettu erittäin paljon I1-vaiheen aikana Yleinen arkkitehtuuri suunniteltu, tärkeimmät osat yksityiskohtaisella

tasolla Suunnitteluperiaatteet

Moduulijako pitää olla erittäin selkeä (tarkasti määritellyt rajapinnat), koska suunnittelussa on mukana monta ihmistä ja lisäksi kommunikointimahdollisuudet ovat heikot.

Pitää keskittyä erityisen tarkasti järjestelmän runko-osiin, koska jatkokehitystä on tarkoitus tehdä paljon, myös räätälöidysti eri asiakkaille.

Varotaan tekemästä työkalusta liian yleiskäyttöistä, koska markkinoilla on jo isojen firmojen suurella budjetilla tekemiä yleiskäyttöisiä ETL-työkaluja. Tehdään ”kevyt” (”light-weight”) suunnittelutyökalu ja suunnataan se ainoastaan ohjelmointitaitoisten ihmisten käyttöön.

Järjestelmän moduulijako Kuvauskieli ETL-moottori Toimenpidekomponentit Dokumentaatiogeneraattori ETL-prosessin hallinta Tietokantojen hallinta

33


Muita vaatimuksia järjestelmälle (1/2)

Käytettävyys Kuvauskielestä suunnitellaan tehokas käyttää (ohjelmointitaitoiselle ihmiselle),

joskus yksinkertaisuuden/geneerisyyden kustannuksella Virheidenhallinta

Koskee erityisesti moottoria ja toimenpidekomponentteja, joihin luodaan monipuolinen ja tehokas virheidenhallinta

Jatkokehitysmahdollisuus Suunnitellaan asioita pidemmälle kuin tämän projektin puitteissa toteutetaan Jätetään tilaa laajennuksille ja kokonaisten komponenttien vaihtamiselle

Tehokkuus Pyritään suorittamaan toimenpiteet suoraan tietokannan sisällä aina kun

mahdollista ETL-prosessin aikana suoritettavan koodin tulee olla kaikkialla virtaviivaista

Tietoturva Lähtökohta on, että järjestelmä pyörii kokonaan asiakkaan omissa

tietojärjestelmissä, joihin ulkopuolisilla ei ole pääsyä Tarvittaessa voidaan rajoittaa eri käyttäjien oikeuksia tietovarastoon

34


Muita vaatimuksia järjestelmälle (2/2)

Skaalautuvuus Kuvauskielessä voi aliprosessien avulla hallita suuriakin ETL-prosesseja Satoja toimenpiteitä sisältäviin ja useita tunteja kestäviin prosesseihin

varaudutaan tukemalla savepointteja, joihin voidaan palata prosessin keskeytyessä

Ylläpidettävyys Pidetään tarkkaa virhe/debug-lokia tietokannassa ja mahdollistetaan virheiden

monipuolinen tarkastelu (sekä prosessin kehittäjä että ylläpitäjä) Mahdollisuus muuttaa konfiguraatiota helposti ja luotettavasti (ajastukset,

tietolähteiden osoitteet) Lähdejärjestelmissä tapahtuneiden arvaamattomien rakennemuutosten

tunnistaminen Siirrettävyys

Käytetään Javaa => pienellä vaivalla siirrettävissä eri käyttöjärjestelmiin ja laitealustoille

Tuki eri valmistajien tietokannoille (mm. saraketyyppien muunnokset) Tuki Common Warehouse Metadatalle (prosessikuvauksen siirto muihin ETL-

työkaluihin)

35


Kuvauskieli

Prosessikuvaus tehdään XML-pohjaisella kielellä, joka määritellään XML Scheman avulla (standardi, valmiita menetelmiä ja työkaluja saatavilla)

Prosessiin kuuluvat tiedostot Projektitiedosto Prosessin ja aliprosessien kuvaustiedostot Konfiguraatiotiedosto

I1-vaiheessa pääpaino prosessikuvaustiedostojen rakenteella ja käsittelyllä Kuvaustiedoston rakenne pitkälle suunniteltu Tiedoston lataus ja tulkinta osittain toteutettu

Projektitiedosto Sisältää viittaukset prosessi- ja konfiguraatiotiedostoihin

Pääprosessin kuvaustiedosto ETL-prosessin päävaiheet ja välitulokset

Aliprosessien kuvaustiedostot Kuvaa verkkomaisen ETL-prosessin toimenpiteiden avulla

Konfiguraatiotiedosto Tietokantojen asetukset Ajastukset Tietolähteisiin ja tietovarastoon liittyvät konfiguraatiotiedot

36


ETL-moottori

Moottori toteutetaan joukkona Javaluokkia, jotka muodostavat tiiviin kokonaisuuden

Rajapintoja moneen suuntaan: Toimenpidekomponentit (tarkasti suunniteltu) Prosessikuvauksen lataus (tarkasti suunniteltu) Tietokantojen käsittely (tarkasti suunniteltu) Lähdedatan lukeminen (melko pitkälle suunniteltu) Tietovaraston käsittely (alustavasti suunniteltu) Prosessin käynnistäminen ja ajastukset (alustavasti suunniteltu) Dokumentaatiogeneraattori (alustavasti suunniteltu)

Prosessin esitys olioina, toimenpiteiden ajojärjestys ja väliaikaisvarastojen käsittely (tarkasti suunniteltu ja osittain toteutettu)

Virheidenhallinta ETL-prosesseissa tärkeää (melko pitkälle suunniteltu ja osittain toteutettu)

37


Toimenpidekomponentit

Toimenpidekomponenttien suunnitteluun liittyy Toimintakuvaus Syötteet Tulokset Parametrit Käyttäytyminen virhetilanteissa

Lähes kaikki vaatimusmäärittelyssä mainitut toimenpidekomponentit alustavasti suunniteltu

Muutama toimenpide suunniteltu tarkemmin: aggregate, call, subProcess, pivot, join, projection, filter, import, export

Kaksi toimenpidettä toteutettu: copy ja insert

38


Dokumentaatiogeneraattori

Suunniteltu, mitä vaatimuksia dokumentaatiogeneraattori asettaa muille järjestelmän osille

Määritelty vaatimukset generaattorin tarvitsemille lähtötiedoille prosessista

Toteutetaan itsenäisenä palveluna, joka kuitenkin kutsuu muita ydinkomponentteja

Prosessikuvauksen tekninen muuntaminen tulosformaattiin vaatii vielä tarkennusta

39


ETL-prosessin hallinta

Alustavasti suunniteltu Projektitiedoston rakenne Ajastukset

40


Tietokantojen hallinta

Tarkasti suunniteltu ja pitkälle toteutettu Tietokantojen konfiguraation lukeminen Tauluihin viittaaminen moottorista ja muista komponenteista Taulurakenteen kuvaustapa, taulujen luominen ajon aikana Väliaikaistaulujen hallinta

41


Toteutetut käyttöskenaariot

Osittain toteutetut: SA-1 Asennus (tietokantojen konfigurointi) SA-2 Ajastaminen SY-2 Ajastuksien ja ylimääräisen ajon ajaminen SO-1 Prosessin toteutus (prosessin ajaminen ja testaus ei vielä mahdollista) SO-2 Toimenpiteiden ohjelmointi (testaus ei vielä mahdollista) SO-3 Versionhallinta SD-1 Prosessin suunnittelu SD-2 Prosessin muutokset ja kuvauksen ylläpito

t-76.115 edistymisraportti

Documents