exadata new features - nloug · 6/7/2016 3 17-11-2011 overview the situation benefits experience...

6/7/2016

1

17-11-2011

Overview The Situation Benefits Experience

Exadata X5-2 Architectuur / DR / Snapshots

Informix Oracle11g stretched RAC

Oracle12c RAC+Exadata

17-11-2011



Even voorstellen:

Rob Lasonder

• werkzaam bij Atos Global Exa Competence Center• laatste 6 jaar projecten met Oracle Appliances

(Exadata, Exalogic, Exalytics, ZFS Storage Appliance, OPCA)

• OCP : 8.0 t/m 12c • OCE : RAC11g, Exadata X2, X3 Administration, Big Data Implementation

Email: [email protected]

6/7/2016

2

17-11-2011



“Machbarkeits Studie”

Laatste Exadata (X5-2) project, afgelopen 10 maanden in Duitsland.

Project ESPE: Einführung Starter Paket Exadata/Exalogic

Nieuwe Infra (on premise): 3 x Exadata X5-2 + 3 x Exalogic X5-2

Software: • Informix DB => Oracle (20 TB, verwachte groei 90 TB)• o.a. Oracle ODI (opvolger Warehouse Builder)

17-11-2011


vooraf: Enkele Duitse weetjes

Als je “s avonds naar huis gaat: Ich mache jetzt Feierabend

Elkaar ‘s middags begroeten: Mahlzeit !

Als je een presentatie goed vindt: Keihard op de tafel roffelen

Bij de lunch een bonnetje vragen: Haben Sie den Beleg für mich

Een wit biertje graag Ein Weissen bitte

Verder voor ieder computer woord een Duits equivalent:Speichern, Festplatte, Rechner, der Spiegel, Datenbank, Sicherung, neustarten, Verzeichnis, Kenntnis, Verknüpfung, hochladen, herunterladen, Order, Benutzer, die Bandsicherung, hochfahren, herunterfahren, . . ..

Aparte uitspraak : ProCdur, Archieeeeven, Oraaaakel

6/7/2016

3

17-11-2011


Exadata X5-2 DWH Migratie Project

Informix

1 Exadata Architectuur

2 Exadata Snapshots

3 12c NF Refresh from Service

4 Exadata Migratie

17-11-2011

The Situation Benefits Experience

I Exadata Architectuur. . . Exadata Refresher

Informix

Exadata eerste Oracle Appliance. Een toepassing geoptimaliseerd voordatabases.

Componenten:• Compute Nodes (database instances)• Storage Nodes (database storage)• Zeer snel Infiniband Netwerk• Exadata Software optimalisaties (SQL Offloading, EHCC

compressie, etc.)

Voor de Oracle DBA: Oracle RAC, Oracle +ASM Storage

6/7/2016

4

17-11-2011

The Situation Benefits Experience

I Exadata Architectuur. . . Exadata Refresher

Informix

17-11-2011


DR

coy

I Exadata architectuur. . . Exadata Refresher

Nieuwste versie: X6

6/7/2016

5

17-11-2011


DR

coy

I Exadata architectuur

Kenmerken architectuur

Intern high speed, low latency Infiband network

HA via clustering• Applicaties: vServers• Databases: RAC

Disaster Recovery via replicatie• Applicaties: storage replicatie• Databases: dataguard• type DR: Active / Passive• type DR: vaak geen zero data loss.

17-11-2011


L0/L1 backup

DB

replication

DR

coy

dataguard


ZFS replicatie

6/7/2016

6

17-11-2011



Pluspunten Exa architectuur:• “proven” architectuur, zeer breed ingezet• low latency, high speed infiniband netwerk• zeer snelle time to market (appliances, standaard componenten)• Oracle Services (Platinum Support, monitoring, patching, etc.)• multifunctioneel

• active dataguard, offloading reports naar standby• standby databases inzetten voor andere doeleinden (snapshots)• dataguard: automatische block recovery corrupt blocks

Aandachtspunten Exa architectuur:• complexiteit. van DBA naar Full Stack DBMA, RAC• DR: Active-Passive• DR: vaak geen zero data loss• Dataguard DR vereist FORCE LOGGING.

17-11-2011



DR: Active / PassiveBij een failover/switchover is er downtijd.• bij activeren standby DB rollback van niet gecommitte transacties• Mogelijk transactie verlies (indien geen zero data loss configuratie)• alle applicatieservers vereisen herstart (voormalige passieve kant)• alle sessies moeten opnieuw opgebouwd worden.• applicatie moet overweg kunnen met herstart en deels doorgevoerde transacties.

ZERO Data Loss: geen enkele gecommitte transactie gaat verloren.• vereist: dataguard maximum availability mode.• Een transactie is pas gereed nadat deze zowel op de primary als de standby als

de primary database is gecommit. (2 phase commit)• toegenomen latency• toegenomen afhankelijkheid

Database Force LoggingAlle transacties worden weggeschreven in de online redo log file, geen nologging operaties toegestaan. (in DWH omgevingen vaak nologging operaties tijdens laadacties).

6/7/2016

7

17-11-2011



Dataguard Far Sync Instance (12c New Feature) bevat alleen de online redo log files, geen datafiles

Dataguard Far Sync Instance voor zero data loss

17-11-2011



Oplossingen voor nologging operaties:

• isoleer nologging operaties in bepaalde tablespaces en sluit deze uit (testen!)• refresh standby database na afloop van nologging operaties in de Primary

6/7/2016

8

17-11-2011


II Project Bron Architectuur : Stretched RAC

DC 1 DC 2

Node 1 Node2

local RAC componenten• compute nodes• shared storage• netwerk

network heartbeat

disk heartbeat (voting disks)

17-11-2011



DC 1 DC 2

Node 1 Node2

stretched RAC componenten• compute nodes• shared storage• netwerk• 2e datacenter

Storage Replicatie: via ASM Failure groups

6/7/2016

9

17-11-2011



Pluspunten Stretched RAC architectuur:• DR is Active / Active• Geen Dataguard configuratie nodig (minder administratieve overhead)• Dus: databases kunnen ook in NOLOGGING modus draaien.• Zero Data Loss configuratie

Aandachtspunten Stretched RAC architectuur:• hogere complexiteit dan local RAC, met name de netwerk laag.• Hoge eisen aan netwerk, dedicated high bandwidth redundant netwerk• Latency (maximum “comfortabele” rijkweidte 20 km)• gevaar van split brain• Oracle ziet een stretched RAC nog steeds als HA, en NIET als DR oplossing.• Toegenomen netwerk complexiteit kan ook tot uitval leiden. Hoe

verhoudt zich dat tot de kans op een rekencentrum uitval.

11g new Features interessant voor stretched RAC:• preferred mirror read (aangeven per instance)• fast disk resync (synchroniseren failed disk)

17-11-2011


II Project Bron Architectuur : Stretched RAC. . . Latency

Maximale “acceptabele” afstand 20 km, afhankelijk van type netwerk.

bron: Oracle White Paper: Oracle Real Application Clusters on Extended Distance Clusters.

RAC interconnect data + storage (mirrors)

6/7/2016

10

17-11-2011


II Project Bron Architectuur : Stretched RAC. . . Voting Disks

DC 1 DC 2

Node 1 Node2

X

split brain: geen communicatie meer tussen de clusternodes en elke clusternode gedraagt zich onafhankelijk van de andere

Oracle MAA: 3e voting disk in 3e datacenter.

DC 3voting 1

voting 2

voting 3

17-11-2011



create diskgroup data normal redundancy

failgroup fg1 disk 'ORCL:ASMDISK1'

failgroup fg2 disk 'ORCL:ASMDISK2'

quorum failgroup fg3 disk 'ORCL:ASMDISK3'

attribute 'compatible.asm' = '11.2.0.0.0';

6/7/2016

11

17-11-2011


II Project Bron Architectuur : Stretched RAC. . . Stretched RAC = HA en geen DR

+ Human error (flashback standby)

+ Rolling Upgrade Support+ offload reporting (active DG)+ Exadata snapshots

17-11-2011



DB Instance 1 DB Instance 2

local FMW app server

local FMW app server

Global Load Balancer

DC 1 DC 2

stretched RAC ingezet als DR oplossing: Active / ActiveDWH databases in NOLOGGING tijdens batcheszero data loss (niet tijdens NOLOGGING laadacties)

wekelijks L0 Tape Backup Dagelijks +ASM

incrementally updated copy, 3 dagen delay

DG: +DATA1, +DATA2, + RECO+DATA1 en +DATA2 identiek i.v.m. switch to copy

6/7/2016

12

17-11-2011


II Project Doel Architectuur : “De ExaStack”. . . Database Layer

OLTP OLTP

KenmerkenDR met dataguard.Max performance modus• DG Far Sync Instance in studie• Failover tijd in studie

Nologging laadacties => 12c Refresh from service

Extra mogelijkheden: Exadata snapshots.

X5-2 nodes: 768 GB memory 2 x 18 core dual threaded CPU (CPU_COUNT = 72)1 x ½ rack1 x ¼ rack (met 3 compute nodes)1 x 1/8 rack

17-11-2011


II Project Doel Architectuur : “De ExaStack”. . . Application Layer

OLTP

OLTP OLTP

OLTP

OLTP

X5-2 Compute NodesZs3-2 Storage Cluster

Configuraties:1 physical (1/4 rack)1 virtual (1/4 rack)1 hybrid (1/2 rack)

6/7/2016

13

17-11-2011


II Exadata Snapshots

PROD DR

DB in Force LoggingTijdens laadacties in Nologging

SNAP1

SNAP2

Een snapshot is een virtuele R/W kopie van de (standby) database. Aanvankelijk 0 bytes groot.• De snapshot datafiles zijn pointers naar de master datafiles• Alleen de mutaties worden weggeschreven in de +SPARSE diskgroup.

17-11-2011


II Exadata Snapshots

Randvoorwaarden• Exadata Storage Software version 12.1.2.1.0• Oracle RDBMS Software version 12.1.0.2 BP5 ++• Sparse Grid Disks & ASM Disk group

Referentie:Oracle Exadata Storage Server Software User's GuideHoofdstuk 12 Setting up Oracle Exadata Storage Snapshotshttps://docs.oracle.com/cd/E50790_01/doc/doc.121/e50471/snapshot.htm#CIHDFIFE

6/7/2016

14

17-11-2011

. . .


II Exadata Snapshots : algemeen

Wat is het “probleem” ?• Vaak hebben productie databases veel kopieen (klonen) voor diverse

doeleinden. • Dit kan veel (dure) Exadata Storage kosten.• Opbouwen van de clones kost relatief veel tijd & administratieve overhead

P 15 TB Q1

Q2

Dev 1 Dev 12

Totaal 14 clones = 14 x 15 TB = 210 TB

17-11-2011



Mogelijke oplossingen:• Aanpassen ontwikkelingsprocessen en procedures • Flashback Technologie (Flashback Query), edition-based redefinition.• Active Dataguard (open read only voor rapporten)• Subsetting (+ datamasking)• Storage Tiering (Development Clones op goedkopere Storage)

P 15 TBEen Snapshot Clone is een virtuele Clone van de Database (Master)• Voor Read Operaties wordt de MASTER geraadpleegd.• Write Operaties worden in de Snapshot Clone weggeschreven.• De virtuele kloon is dus aanvankelijk 0 bytes en groeit naarmate het

aantal wijzigingen toeneemt.• De Master is READ ONLY geopend

Snapshot Clones zijn al langer mogelijk op ZFS Storage en in ACFS. Sinds kort ook in Exadata +ASM Diskgroups. Grote voordeel: Exadata Features zoals SQL*Offloading en IORM zijn ook op de snapshot clones van toepassing.

• Snapshot Clones

6/7/2016

15

17-11-2011



Snapshot Datafilepointers naar data blokken• originele blokken: Data Diskgroup• gewijzigde blokken: Sparse Diskgroup

Sparse Diskgroup: Grid Disks met fysieke en virtuele grootte. (max 100 TB virtual size per disk)

A sparse file contains only changes made to blocks from the parent file (the parent file remains unchanged) and maintains a pointer to the parent file for access to unchanged data.

17-11-2011


II Exadata snapshots : +SPARSE diskgroups

Snapshot Clones op Exadata : griddisks vereist van type +SPARSE, met een physieke een virtuele grootte.

P 15 TB 12 cell disken per cell server (8 TB)

Exadata ¼ Rack

6/7/2016

16

17-11-2011



P 15 TB

Intern backup: RECO = 60%, DATA = 40 %Extern backup: RECO = 20%, DATA = 80 %

ASM: +DBFS +DATA +RECO

Aanpassing voor project vereist:1 Geen GRID Disks van type +SPARSE2 Geen onderlinge uitwisselbaarheid tussen +DATA en +RECO

17-11-2011



P 15 TB

ASM: +DBFS +DATA +SPARSE +RECO

Voordeel 1: SPARSE Disks aangemaakt met fysieke en virtuele grootteVoordeel 2: onderlinge uitwisselbaarheid grid disks

Werkinstructie opgesteld en doorgevoerd

6/7/2016

17

17-11-2011



P 15 TB

Stap 1: ASM Diskgroups verwijderen

SQL> drop diskgroup DATAC1;

SQL> drop diskgroup RECOC1;

Stap 2: Grid Disks verwijderen

cellcli> drop griddisk DATAC1_CD_01_EXA01_CELL01

Stap 3: Grid Disks opnieuw aanmaken

cellcli> create griddisk ora001_CD_00_EXA01_CELL01

CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G

cellcli> create griddisk ora004_CD_00_EXA01_CELL01

CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G, virtualsize=20000G

17-11-2011



P 15 TB

_EXA01_CEL01 detail

EXA01_CEL01

EXA01_CEL01

6/7/2016

18

17-11-2011



P 15 TB

Stap 4: ASM Diskgroups opnieuw aanmaken

SQL> create diskgroup exa01_sparse normal redundancy disk

'o/*/ORA004_CD_0[0-3]_exa01_CELL01',

'o/*/ORA004_CD_0[0-3]_exa01_CELL02',

'o/*/ORA004_CD_0[0-3]_exa01_CELL03'

ATTRIBUTE 'au_size'='4M',

'compatible.asm'='12.1.0.2.0',

'compatible.rdbms'='12.1.0.2.0',

'cell.smart_scan_capable'='TRUE',

'content.type'='data',

'cell.sparse_dg'='allsparse';

17-11-2011



P 15 TB

6/7/2016

19

17-11-2011

Overview The Situation Experience

II Exadata snapshots : create snapshot

P 15 TB

Basis: READ-ONLY geopende database (MASTER). . . in geval dataguard => log apply moet uitstaan

Multitenant Configuratie:SQL> create pluggable database PROD_SNAP from PROD

create_file_dest='+EXA01_SPARSE' snapshot copy;

“Klassieke” Configuratie:Oracle Exadata Storage Server Software User's Guide, hoofdstuk 12, setting up Oracle Exadata Storage Snapshots

Projekt : werkinstructie Clone DB

17-11-2011


II Exadata snapshots : create snapshot

P 15 TB

6/7/2016

20

17-11-2011


II Exadata snapshots : create snapshot cyclus

P 15 TB

NOLOGGING Batch operations primary+ Refresh Standby

17-11-2011


III 12c Dataguard: Recover from Service

P 15 TB

Probleem: tijdens maandelijkse laadjobs database in NOLOGGING. . . niet compatible met dataguard configuratie

6/7/2016

21

17-11-2011



P 15 TB

Oplossing:

Voorafgaand aan maandelijkse batchjob :• dataguard log shipping & log apply uitzetten• force logging primary database uitschakelen

Maandelijkse batchjob draaien

Na afloop van de maandelijkse batchjob:• Primary database: force logging weer inschakelen• Standby database weer bijwerken m.b.v. 12c Recover from service• dataguard log shipping & log apply weer aanzetten• Na afloop van maandelijkse batchjob dataguard log shipping & log apply

weer activeren m.b.v. 12c New Feature “Refresh from Service”

17-11-2011

snap clone

snap clone



P 15 TB

Primary Standby

StandbyPrimary

Primary Standby

1

2

3

4snap clone

6/7/2016

22

17-11-2011



P 15 TB

Dataguard Log shipping & Log Apply uitzetten

DGMGRL> edit database PROD set property logshipping=OFF;

Property "logshipping" updated

DGMGRL> edit database PROD set state=APPLY-OFF;

Succeeded

Database Force Logging uitzetten

SQL> alter database no force logging;

17-11-2011



P 15 TB

Recover Database from Service• Uitvoeren op de Standby database• Maakt een incrementele backup van alle wijzigingen in de primary

database t.o.v. de SCN van de standby data file header• Verplaatst de backup over het netwerk (SQL*Net) naar de standby DB• Speelt de incrementele backup in de standby database.

6/7/2016

23

17-11-2011



P 15 TB

17-11-2011



P 15 TB

Controlfile Standby DB bevat nog oude SCN waardes en moet ook ververst worden.

procedure voor hernoemen datafiles in controlfile => werkinstructie

6/7/2016

24

17-11-2011


IV Exadata Migration

P 15 TB

Diverse Migratie Methoden Exadata:• Dataguard• Golden Gate• Datapump• (Incrementally Updated) Transportable Tablespaces• Proprietary tooling

Keuze van migratie methode afhankelijk van diverse methodes:• beschikbare downtime• beschikbare licenties• beschikbare storage• beschikbare migratie infrastructuur• etc.

17-11-2011


IV Exadata Migration. . . Proprietary Tool: HIPAS

P 15 TB

Randvoorwaarden bij dit project:• Veel NOLOGGING operaties tijdens laadacties• VLDB (kan groeien tot 90 TB, nu nog Informix)• Veel objecten zonder PMK/UK• Direkt EHCC compressie nodig, anders past het niet (DG, TTS kan dus niet)• Database bevat veel BLOBS => gaan heel langzaam in DWH• Al veel ervaring in organisatie met proprietary tool “Hipas”.

Kenmerken HiPas• offline variant en minimal downtime variant• geschreven in SQL & PL/SQL• Schema based migratie over database links (INSERT /*+APPEND */)• Vanaf doel data halen van de bron (pull gaat sneller dan push)

6/7/2016

25

17-11-2011


IV Exadata Migration. . . Proprietary Tool: HIPAS

P 15 TB

• USER HIPAS installeren in beide DB's.• Data worden via database link overgehaald, PULL source DB vanaf target DB• Gepartitioneerde objecten per (sub)partitie• Overige objecten in gelijke chunks• versie & platform onafhankelijk• Allerlei aanpassingen in target DB mogelijk tijdens migratie (remap table/schema,

character set aanpassing, selecties van tabellen en data, EHCC, etc.)

Snelheid (dedicated 10 Gb lijn) : 700 MB / seconde

exadata new features - nloug · 6/7/2016 3 17-11-2011 overview the situation benefits experience...

Documents