fábián tamás - adatbázis-migráció módszertanának bemutatása a doksi.hu példáján...
DESCRIPTION
Szakdolgozatomban az adatbázis migrációs projektekhez kapcsolódó feladatokról és sajátosságokról írtam üzleti oldalról, illetve egy internetes portál, a Doksi.hu adatbázis-migrációs módszertanát mutattam be félig IT, félig üzleti oldalról. Az alapkoncepció az volt, hogy egy MySQL szerverről egy Oracle szerverre költöztetem az adatok egy meghatározott körét, illetve bemutatom az ehhez kapcsolódó módszertani követelményeket. A dolgozat egy általam kidolgozott új funkció adatbázis oldali implementációs nehézségeit is bemutatja az ötlet megszületésétől a kivitelezésig, amely már az Oracle 11gR2 adatbázisára épül. Az adatbázis költöztetéssel kapcsolatos általános problémákat banki rendszerek példáján keresztül ismertetem, mivel a bankok bonyolult IT architektúrával rendelkeznek, üzleti folyamataik pedig rendkívül komplexek. A kritikus infrastruktúrában való működés ráadásul számos migrációs sajátosságot hordoz. A fenti szempontokat alapul véve rendkívül sok párhuzamot tudtam vonni a banki rendszerek (pl.: adattárház) migrálásának folyamatai és a doksi.hu adatbázis költözetéshez kapcsolódó folyamatai között. This thesis is about database migration methodology set by the business side. It also demonstrates a migration case study related to a hungarian website called Doksi.hu by the IT side and also by a business approach. The concept was to migrate Doksi’s database from a MySQL server to an Oracle 11gR2 server, and introduction of migration demands and requirements drawing parallel. The study introduce how a new function (and business logic) can be implemented in Oracle database from the beginning. Common difficulties are shown related to banking technologies. The reason is money institutes have difficult business processes provided by complex IT architectures. Critical infrastructure also refers to a huge amount of migration speciality. In addition, a lot of parallel is drawn among banking systems (like data warehouse) and Doksi.hu’s database migration methodology. Adatbázis migráció, üzleti oldal, Oracle 11gR2, MYSQL, migrációs módszertan, banki rendszerek migrálása, external table, manuális adattisztítás, automatizált adattisztítás, folyamat Automatizálás, migráció tesztelése, Oracle TimesTen, migrációs Projektek, Oracle PL/SQL Developer, memória alapú adatbázis, ITbusiness, orafaq, cross platform transportable tablespaces, Mantisbt bug tracking, Phpmyadmin, Direct Oracle Access, Duplikátum, sql script, Oracle datapump, Oracle Recovery Manager, Erste bank, Vodefone, Sysman, Erste Symbols Számlavezető rendszer, NOSQL, Oracle exadata, exalogic, Clarity Consulting, flash cash technológia, exalogic, adattárház, IT Architektúra, Boston Consulting Group, Database migration Methodology, Oracle Letölthető innen / you can download it here: http://doksi.hu/get.php?lid=17832TRANSCRIPT
Adatbázis-migráció módszertanának bemutatása a Doksi.hu példáján keresztül
Fábián Tamás
Téma: Elmélet - banki migrációs projektek Hatékony migrációs eljárások Doksi.hu migráció és módszertan
(MYSQL 5.1 -> Oracle 11G R2)
Szakdolgozat
Referenciamunka
Miért migrálunk? Üzleti hajtóerő
◦ 1. Új üzleti logikák implementálása◦ 2. IT rendszerek integrációja◦ 3. Egyéb:
gyorsaság átláthatóság költségcsökkentés folyamat-automatizálás
Üzlet IT
Event based migration (alkalom adtán) Incremental migration (inkrementális) Bulk load (nagy adatblokkok) Big bang
A kivitelezés alternatívái
A Doksi.hu-ról Profil: tartalom megosztás, tudástár, tanár
közvetítés 18000 dokumentum (angol, román, spanyol, francia
nyelven is)
1 200 000 oldalletöltés / hó 455 000 ügyfél-specifikus adat Napi 30 regisztráció 20 000 hírlevél Közönség: 19-23 év közötti látogatók
Bulk load típusú migráció Oracle tesztkörnyezet és „IDE” létrehozása Blokkok:
◦ Doksik – új logika!◦ Főkategóriák – új logika!◦ Stb.
Doksi.hu migráció
Alkategória hatékonyság - Teszt
Alkategória hatékonyság I.
Adózá
si ism
eret
ek
Auditá
lás
Biztos
ítás
Euró
pai U
nió
Gazda
ságp
oliti
ka
Globa
lizác
ió
Kontro
lling
Közép
iskol
a
Logi
sztik
a
Marke
ting
Mened
zsm
ent
Nonpr
ofit s
zfér
a
Pénz
ügy
Szám
vite
l
Tőzs
de
Üzleti
terv
Válla
lkoz
ási i
smer
etek
Világg
azda
ságt
an0
20000
40000
60000
80000
100000
120000
Gazdasági ismeretek főkategóriában lévő letöltések megoszlása alkategóriánként
Összesen
Alkategória hatékonyság II.
Adózá
si ism
eret
ek
Auditá
lás
Biztos
ítás
Euró
pai U
nió
Gazda
ságp
oliti
ka
Globa
lizác
ió
Kontro
lling
Közép
iskol
a
Logi
sztik
a
Marke
ting
Mened
zsm
ent
Nonpr
ofit s
zfér
a
Pénz
ügy
Szám
vite
l
Társ
adal
ombi
ztos
ítás
USA
Válla
latg
azda
ságt
an
Vezet
és-s
zerv
ezés
0
2000
4000
6000
8000
10000
12000
Főkategóriánkénti oldalszámösszegek
ÖsszesenOldalszámösszegek
Főkategóriák
Alkategória hatékonyság koncepciójának tesztelése Előtesztelés??? Teszt táblák létrehozása Teszt adatok excelben, arányszámok Betöltés a teszt környezetbe (insert vs. External
table) SQL végeredményeinek leellenőrzése
Üzleti igények összegyűjtése
HLD (magas szintű
specifikáció)specifikálása
Részletezőspecifikáció I.
Részletezőspecifikáció II.
Részletezőspecifikáció III.
Szerkesztők
Főszerkesztő
Partnerek
Szállítók
Látogatók
Séma, DB architektúra kialakítása
Új funkciók működőképességének
tesztelése, követelmények
meghatározása DB oldalról
Új funkció alkalmazás oldali
fejlesztése
Adatblokkok migrálása
Adott blokk teljes körűen migrálásra
került?
Nem, lassúság miatt
Hibásan migrált adatkör tesztelése
Nem, hiba miattEllenőrző
mechanizmusok, triggerek, default értékek, scriptek,
constraint stb. beállítása,
paraméterezése
igenUnit teszt,
Funkcionális teszt,Regressziós teszt
Meta adatok migrációja
ValidálásUser Acceptance teszt (UAT),
Regressziós teszt
Elfogadási kritériumoknak
megfelel?nem
Hibajavítás (technikai release-
ben)
igen
Élesítés (Go-live)
Egyeztetés a tulajdonossal a fejlesztések üzleti értékéről és pü.-i
forrásokról
Migrációs munkálatok magasszinten (menedzsment oldal)
Doksi.hu adatbázis vs. Banki rendszerek (DWH)
Doksi.hu adatbázis vs. Banki rendszerek (DWH)
Adattisztítás◦ Manuális◦ Automatizált◦ Adatminőség a Doksi.hu-nál
External Table Oracle alkalmazások Tesztelési módszertanok
◦ Teszt-automatizálás
Amiről még szó esett…
Köszönöm a figyelmet!
Fábián Tamás