Valós idejű megoldások: Realtime ods és Database In-

Memory tapasztalatok

Pusztai PéterIT fejlesztési senior menedzser – Magyar Telekom

Sef DánielSzenior IT tanácsadó– T-Systems Magyarország

2016. április 6.

amiről szó lesz…

Siebel Replica – ODS rendszer születésének körülményei a Magyar Telekomban

A rendszer felhasználási céljai, lehetőségei

Oracle Database In-Memory esettanulmány

Tapasztalatok, összegzés

Több forrásból származó, integrált adatokra épített adatszolgáltatások

Online lekérdezések (extrém gyors válaszidővel történő kiszolgálás)

Ad-hoc riporting

Nagy számításigényű feladatok elvégzése

Nagy adattömegű, batch adatszolgáltatások

Siebel audit logok biztonságos és elkülönített gyűjtése

Meghatározott tulajdonságok alapján történő adatirányítás

Érzékeny adatokhoz történő hozzáférés korlátozása

Valós időben épülő adattörténet

a születés körülményeimilyen igények híVták életre a siebel replica-t

Éles Siebel tehermentesítése

3

Érzékeny adatok és Siebel audit logok kezelése

2

Adattárház táplálása

1

a születést köVetően újabb igények jelentek meg:

Felhasználási célok, Funkciók

Számos felhasználási lehetőség:

• valósidejűség kihasználása: online adattörténet építés, perces gyakoriságú batch feldolgozások futtatása

• vissza-irányú interfészek: a forrás rendszer egyben az adatbázis replikában feldolgozott adatok fogadó rendszere

• teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás, ahol minden változás átadása szükséges

• front-end-ek felől érkező online lekérdezések kiszolgálása (jobb válaszidővel, mint amire a forrásrendszer képes)

• operatív (és ad-hoc) riportok: riporting keretrendszer

miért jó ez a magyar telekomnak?

• Valós idejű ODS lehetősége

• Tehermentesíti a produktív rendszereket

• A dobozos CRM rendszer lehetőségeit kiterjeszti

• A replikált adatbázison közvetlenül lehet fejleszteni

• Ütemezett batch feldolgozások

• Webszolgáltatások implementálásának lehetősége

• Ad-hoc riportolás

a Valós idejű inFormáció Vonzereje

esettanulmány - perFormancia jaVítássiebel replika Felhasználási célok mentén

• Index karbantartás

• OLTP indexek

• Analitikus indexek

• Batch feldolgozások

• Riporting Rendszer

OLTP és Analitikus

terhelés

• 1000GB Diszk

• 60 GB Memória

• AMD Opteron(tm) Processor 6128

• 8 core CPU

• Siebel Replika fejlesztői környezetéhez hasonló struktúra

• Generált tesztadatok

T-Systems szerveren – Generált tesztadatok segítségével

tesztkörnyezet

OLTP és Analitikus terhelés

Valós idejű elemzés Bevezetés az

alkalmazás

változtatása nélkül

100x

Oracle Database In-Memory célok

• Sor és Oszlop alapú elemzés ugyanarra a táblára

• Konzisztens adattárolás

• Elemzés és Riporting kiszolgálás Oszlop alapú tárolással

• OLTP kiszolgálás sor alapú tárolással

Buffer Cache Column Store

ORDER ORDER

RowFormat

ColumnFormat

ORDER

adatbázis tárolási módok

1. Memória méret konfigurálása: inmemory_size = XX GB

2. Táblák vagy partíciók konfigurálása: alter table | partition … inmemory;

3. OLTP gyorsítás: eldobhatóak az analitikus indexek

Oracle Database In-Memory beállítás

OLTP és Analitikus Indexek

• Index nyilvántartás SiebelReplikában: legtöbb index komplex OLTP adatbázisok esetén analitikus lekérdezéseket szolgál ki

• Új sor beszúrása a táblába => 10-20 analitikus indexek frissítése =>Lassú!

• Ad-hoc analitika támogatása

Tábla1 – 3 OLTP

Indexek

10 – 20 Analitikus

Indexek

In-Memory Végrehajtási terV

2016.04.06.– Strictly confidential, Confidential, Internal – Author / Presentation title 13

Analitikus SQL tesztek

Analitikus SQL:

8 millió soros lekérdezés 6 percről 7 másodpercre

Real Time Analitika Bevezetés az

alkalmazás

változtatása nélkül

Ad-Hoc lekérdezések Oracle Database In-Memory segítségéVel

?

köszönjüka

figyelmet!