고가용성구현을위한저비용db oracle database …oracle rac 추가구매또는10g&11g...

고가용성 구현을 위한 저비용 DB 구축Oracle Database Standard EditionStandard Edition

With Real Application Clusters

2009 03 192009,03,19YoungSik.Kim

Copyright © 2007, Oracle. All rights reserved. 1Page-1

AgendaAgenda

ASM (Storage Options)

Oracle ClusterWare (CRS)

ASM (Storage Options)

고려사항

Reference

2Copyright © 2007, Oracle. All rights reserved.Page-2

Oracle ClusterWare(CRS)


What Is a Cluster?

단일 서버로 작동하는 서버 그룹

클러스터 소프트웨어는 구조를 숨김

모든 노드에서 디스크 읽기 쓰기 가능 Private Interconnect모든 노드에서 디스크 읽기 쓰기 가능

요구사항

• Hardware (Interconnect, Shared-Storage)

NodePublic

NetworkPublic

NetworkPublic

Networkg )• Software (Clusterware)

Network Network Network

Public

Clusterware

Network

on each node


Why Use RAC?

• 고 가용성: 생존 노드와 인스턴스 실패

• 제한 없는 확장성: 필요시 새로운 노드 추가

• 저 비용: 수요 만큼의 비용 지불

• 핵심 Grid computing 기능:– 요구에 따른 확장과 축소

– 단일 버튼으로 서버의 추가와 제거

자동 kl d 관리– 자동 workload 관리


Oracle Real Application Clusters

Network

Server-1Server-2

Clusterware Clusterware

• 동일 데이터베이스에액세스하는복수 인스턴스

Cluster

Operating System

Hardware

OperatingSystem

Hardware

복수 인스턴스

• 인스턴스는 별도의노드에 존재 Cluster

Interconnect• 각 데이터베이스

파일에 대한

DataData QuorumQuorum DataData

물리적 논리적 액세스

• 소프트웨어가데이터 액세스 제어

Redo / Archive logs

all instancesShared Storage(SCSI/SAN/DAS)

Managed by ASM

Database / Control

데이터 액세스 제어


RAW Devices filesOCR / Voting Disks

From Single Server to Cluster

You need• Minimum 2 Servers• Each Server with Operating System & Clusterware• Cluster Interconnect• Shared Storage (SCSI or Fiber Channel) with Host

Bus Adapters, RAID Box


Server Availability Challenge

Server 1Instance ‘A’Instance A

Data AData A

Server is a SINGLE point of failure


Active-Passive Clusters

Server 1 Server 2Instance ‘A’

Clusters with‘Cold’ Failover

DatabaseDatabase

Cold Failover

Restart single instance on Server 2


Real Application Clusters

Server 2Server 1I t ‘A’ Instance ‘B’Instance ‘A’

DatabaseDatabase

SERVER failure your database remains availableProtect from SERVER failures


SERVER failure - your database remains available

H/W HA vs. 10g&11g RAC

SE O l RAC ti B dl 제공SE O l RAC ti B dl 제공

H/W HA 구성시H/W HA 구성시 Oracle RAC 구성시Oracle RAC 구성시

추가 구매 SW추가 구매 SW 필요 없음필요 없음-SE-Oracle RAC option Bundle 제공-EE- Oracle RAC Option 필요-SE-Oracle RAC option Bundle 제공-EE- Oracle RAC Option 필요

- 1G 이상 고속 Interconnector 라인필요

H/W벤더의 유상 Cluster S/W with

- 1G 이상 고속 Interconnector 라인필요

H/W벤더의 유상 Cluster S/W withCluster SWCluster SW - H/W Cluster S/W만 필요

- Heart bit 라인 필요- H/W Cluster S/W만 필요- Heart bit 라인 필요

- H/W벤더의 유상 Cluster S/W with Oracle RAC 추가 구매 또는 10g&11g RAC 구매시 제공되는 무상 Cluster S/W 를 사용,

- H/W벤더의 유상 Cluster S/W with Oracle RAC 추가 구매 또는 10g&11g RAC 구매시 제공되는 무상 Cluster S/W 를 사용,

A ti /St db 시스템으로 장애시A ti /St db 시스템으로 장애시

디스크 구성디스크 구성 File System 또는 Raw deviceFile System 또는 Raw deviceRaw Device (데이터 공유)HW벤더의 볼륨매니저 또는 10g&11g 무상 제공 볼륨매니저 (ASM) 사용

Raw Device (데이터 공유)HW벤더의 볼륨매니저 또는 10g&11g 무상 제공 볼륨매니저 (ASM) 사용

DB 장애 복구DB 장애 복구

Active/Standby 시스템으로 장애시Standby시스템에서 File System Checking 과 Mount 및 DB start/recovery 과정등을 포함해서최소 5분 ~30분 이상 소요

Active/Standby 시스템으로 장애시Standby시스템에서 File System Checking 과 Mount 및 DB start/recovery 과정등을 포함해서최소 5분 ~30분 이상 소요

Active/Active 시스템으로 장애시운영중인 다른 Active시스템에서Instance Recovery 과정만 수행되고최소 10초 ~ 60 초전후 소요

Active/Active 시스템으로 장애시운영중인 다른 Active시스템에서Instance Recovery 과정만 수행되고최소 10초 ~ 60 초전후 소요

Application 장애 복구Application 장애 복구

DB 복구 후, Admin 이 추후개별적으로 Application을 재기동해야 함(시간 추정 불가)

DB 복구 후, Admin 이 추후개별적으로 Application을 재기동해야 함(시간 추정 불가)

SQL*Net 레벨에서 새로 시작된 서버로재 접속시 자동 FailOver시켜줌(Application 장애 복구를 위한 재기동필요 없음)

SQL*Net 레벨에서 새로 시작된 서버로재 접속시 자동 FailOver시켜줌(Application 장애 복구를 위한 재기동필요 없음)


(시간 추정 불가)(시간 추정 불가) 필요 없음)필요 없음)

H/W HA vs. 10g&11g RAC

HA Failover 절차 RAC 복구 Failover 절차

Active시스템에서만 서비스 처리 수행

Active시스템 장애시 백업용(Standby)시스템으로 Failover 수행

⑴

⑵

Active-Active 양쪽 시스템에서 서비스 처리 수행

한쪽 운영시스템 장애시 다른 Active시스템에서 즉시Failover 수행

⑴

⑵시스템으로 Failover 수행

- 백업시스템으로 복구 및 처리 절차① 운영시스템 Disk 절체② Standby 시스템으로 Disk Mount③ M 된 i k의 il 시스템 Ch k

Failover 수행

- 백업시스템으로 복구 및 처리 절차① 다른 Active 시스템에서

장애난 Instance의 Recovery 즉시 수행( 데이터 무결성 보장을 위해 장애난 시스템의③ Mount된 Disk의 File 시스템 Check

④ DB Startup시 Instance Recovery 수행⑤ DB 정상화 후 Application Start

Standby 시스템에서 서비스 처리 수행⑶

( 데이터 무결성 보장을 위해 장애난 시스템의미 반영된 Log 및 Undo 정보 처리 과정)

다른 Active시스템에서 서비스 처리 수행⑶y⑶ ⑶

최소 5분 ~ 30 분 이상 소요 최소 30초 ~ 60 초 전후 소요

H/W HA와 달리 RAC 솔루션 도입을 통해장애시 빠르고 자동화된 복구 절차로

최소 5분 30 분 이상 소요 최소 30초 60 초 전후 소요


지속적인 서비스 보장

Oracle RAC Architecture

public networkVIP1 VIP2

Node1VIP1

ListenerNode 2VIP2

Listener

Oracle Clusterware

instance 1

ASM

Oracle Clusterware

instance 2

ASMInterconnect

Operating System

Oracle Clusterware

Operating System

Oracle Clusterware

Redo / Archive logs all instances

shared storage

Managed by ASMDatabase / Control files

OCR and Voting Disks

CFSRAW Devices


Oracle Clusterware

1 오라클이 제공하는 독립적인 Cl t / /1. 오라클이 제공하는 독립적인 Clusterware

2. 10g&11g RAC를 운영하기 위해 반드시 필요• Oracle CW 독립적으로 RAC 구성 가능

– Oracle CW 단독 사용 시, 디스크관리는 ASM이 대신한다

public network

VIP1

Node 2

VIP2

Node n

VIPn

/…/

관리는 ASM이 대신한다.• Vendor CW와 함께 운영 가능

– Vendor CW의 클러스터 노드 관리기능 공유

– Logical Volume 사용하기위해서는 V d CW가 필요

OPROCD

CSSD

OPROCD

CSSD

OPROCD

CSSDNode1

위해서는 Vendor CW가 필요

3. Oracle CW 사용 시 장점• 확장 가능한 노드 수가 증가한다.• 비용 절감 효과 EVMD

CRSD

ONS

EVMD

CRSD

ONS

EVMD

CRSD

ONS

EVMD EVMD EVMD

shared storage

OCR and Voting Disks

RAW Devices/CFS/ASM


Clusterware Components

•crsd – Cluster Resource Services Daemond Cl t S h i ti S i D

Service

•cssd – Cluster Synchronization Services Daemon•evmd – Event Manager Daemon•oprocd / hangcheck_timer – Node hang detector

VIPListener

Instance

GSD ONS

ASM

•VIP – Virtual IP•GSD – Global Services Daemon•ONS – Oracle Notification Services Daemon

CRS(Cluster Ready Service)

OPROCD(Process Monitor)

EVM(Event Manager)

•OCR – Oracle Cluster Repository•Voting Disk – Establishes quorum

CSS(Cluster Synchronization Service)

Vendor Clusterware

ASM / Volume Manager

Hardware- / OS-Kernel


RAC Software Storage Principles

Node1 Noden Node1 NodenNode1Instance1

CRS homeO l h

NodenInstancen

CRS homeO l h

…Node1

Instance1Noden

Instancen…

Local storageOracle home

Local storageOracle home

Local storage Local storage

Voting fileOCR file

Voting fileOCR file

CRS homeShared storage

Shared storage

CRS homeOracle home

g

Permits online patch upgradesSoftware not a single

i t f f il


point of failure

RAC Storage Options


RAC and Shared Storage Technologies

• Storage is a critical component of grids:– Fundamental sharing storage

New technology trends– New technology trends• Supported shared storage for Oracle grids:

– Network Attached StorageNetwork Attached Storage– Storage Area Network

• Supported file storage for Oracle grids:g g– Raw volumes– Cluster file system– ASM


Automatic Storage Management

• Portable and high-performancecluster file system

• Manages Oracle database filesApplication

• Manages Oracle database files• Data spread across disks

to balance load File

Database

to balance load• Integrated mirroring across

disksASM

systemVolume

manager• Solves many storage

management challenges

manager

Operating system


ASM: Key Features and Benefits

• Stripes files rather than logical volumesStripes files rather than logical volumes– Physical volume > Logical volume group >logical volume

– ASM은 datafile을 여러 extents로 나눈 후 가용한 디스크에 골고루 분산시킨다

(Allocation Unit(AU)는 ASM이 할당하는 연속된 최소 단위이다,1M)

• Online disk reconfiguration and dynamic rebalancingAdj t bl b l i d• Adjustable rebalancing speed

• Provides redundancy on a file basis• Supports only Oracle database files• Supports only Oracle database files• Database cluster file system with performance of RAW

I/O usable on all storage platformsg p• Automatic database file management

. .. .... .... .... .... ....

20Copyright © 2007, Oracle. All rights reserved.Page-20• No more hot spots: Eliminate manual I/O tuning

. ... .......

........ ...... ....... ........ ........ ......... ... .

..

............ .......... .........

..... .. .......

............. ..

........... ...........

.. . . ......... ........ ........ ........ ........ ........

ASM Scalability

ASM imposes the following limits:• 63 disk groups

10 000 ASM di k• 10,000 ASM disks• 4 petabyte per ASM disk

1 million files per disk group• 1 million files per disk group• Maximum file size: v10g

– External redundancy: 35 TB– External redundancy: 35 TB– Normal redundancy: 5.8 TB– High redundancy: 3.9 TB

• Maximum file size:v11g– External redundancy: 140 PB


– Normal redundancy: 42 PB– High redundancy: 15 PB

Database Storage Options

Single nodeSingle node• Raw devices• File systemsy• ASM (10g&11g ~)

RAC• Raw devices• Oracle Cluster File System (Linux/Windows)• Other Cluster File Systems• ASM (10g&11g ~)


DBCA and Storage Options


<I t Pi t H >Three Flexible

<Insert Picture Here>

Management Interfaces

1. EM Database Control or Grid Control

2. SQL*Plus interface

3 ASMCMD tool3. ASMCMD tool


ASM: Administration Page


EM Management


ASM 구성시 File Type Supported

General Storage Considerations

File Types Supported OCR/Voting Disk Oracle Software Database RecoveryA t ti St M t N N Y YAutomatic Storage Management No No Yes YesGeneral Parallel File System Yes Yes Yes YesR LV Y N Y NRaw LV Yes No Yes NoOCFS2 Yes Yes Yes YesL l St NO NO NO NLocal Storage NO NO NO No


Hundreds of ASM Customers In Production


ASM 데모

적목적

• EM 을 통하여 손쉬운 ASM 관리가 가능하다.ASM 사용 시 사용자 요구에 따라 손쉽게 새로운 디스크를• ASM 사용 시 사용자 요구에 따라 손쉽게 새로운 디스크를추가할 수 있다.

• 자동으로 디스크 부하 균형을 유지하여 최적의 디스크자동으로 디스크 부하 균형을 유지하여 최적의 디스크입출력 성능을 제공한다.


ASM 데모-Add/Drop ASM DISK


RAC 고려사항


Certify - Platform Selection: RAC for OS

Standard Edition Information: • Oracle Database Standard Edition can be licensed on

server clusters that have a maximum capacity of four processors.

• Real Application Clusters is not included in the Standard Edition of releases prior to Oracle Database 10g , nor is it an available option with those earlier g , preleases.

• When used in a clustered server environment, Oracle Database Standard Edition requires the use of Oracle qClusterware.

• Third-party clusterware management solutions are not supported. In addition, Automatic Storage Managementsupported. In addition, Automatic Storage Management (ASM) must be used to manage the data stored in Oracle Database.

• Third-party volume managers and file systems are not


Third party volume managers and file systems are not supported for this purpose

고가용성을 위한 Gigabit Switch 권장

클러스터링 기반으로 Oracle RAC 를 구축할 때, 시스템간의 데이터통신을 위해 High speed interconnector 를 Crossover Cable 방식으로구축운영하면 불안정하기 때문에 이러한 구성 방식으로 인해 발생되는구축운영하면 불안정하기 때문에 이러한 구성 방식으로 인해 발생되는장애에 대해 문제 추적 및 해결을 위한 고객지원(SR처리)을 받을 수없다.

Switch 가 요구되는 이유:

1) Cross-Cabling 은 2 노드 이상 확장 시 제한을 받음

2) Cross-Cabling 으로 구성시 NIC(network interface card) 가불안정해지면 노드간의 통신이 단절되어 불규칙하게 DB instance장애가 발생되거나 데이터 누수(Loss)가 발생되는 현상이 보고되어 있음 (근거문서 참조.)

실 사례로 Cross-Cabling 방식으로 구축 운영하다가 상기 2)번 현상으로 인해사 사 이 장비 재 축 하였 현재 까지 일한 현상KW공사, E사 등이 Switch 장비로 재 구축을 하였고, 현재 까지 동일한 현상은

발생되지 않으며 안정적으로 서비스를 하고 있다.


고가용성을 위한 Gigabit Switch 권장(계속)근거문서1. Oracle® Database Oracle Cluster ware and Oracle Real Application Clusters

Administration and Deployment Guide11g Release 1 (11.1) 메뉴얼에도 다음과 같이 unsupport 한다고 설명하고 있다.

Introduction to Oracle Clusterware and Oracle Real Application Clusters- The Oracle Clusterware Architecture and Oracle Clusterware Processing

Oracle recommends that you configure a redundant interconnect to prevent the interconnect from being a single point of failure. Oracle also recommends that you use

( )User Datagram Protocol (UDP) on a Gigabit Ethernet for your cluster interconnect.Crossover cables are not supported for use with the Oracle Cluster ware or RAC databases.

근거문서2. Oracle Metalink - Note 220970.1

RAC Frequently Asked Questions 으로 Crossover Cable은 지원되지 않는다고 명시되어 있습니다RAC Frequently Asked Questions 으로 Crossover Cable은 지원되지 않는다고 명시되어 있습니다.

Q> Is crossover cable supported as an interconnect with 9iRAC/10g&11g RAC on any platform ?

A> NO. CROSS OVER CABLES ARE NOT SUPPORTED.

The requirement is to use a switch:

Detailed Reasons:

1) cross-cabling limits the expansion of RAC to two nodes

2) cross-cabling is unstable:

a) Some NIC cards do not work properly with it.p p y

b) Instability. We have seen different problems

e.g.ORA-29740 at configurations using crossover cable, and other errors.

Due to the benefits and stability provided by a switch,

and their afforability this is the only supported configuration


and their afforability, this is the only supported configuration.

ReferenceReference

코오롱아이넷에서 직접 가이드 및 기술 지원한 고객들의 구축 및개발 중인 사례들 입니다 이밖에도 협력업체에서 직접 지원한개발 중인 사례들 입니다. 이밖에도 협력업체에서 직접 지원한경우를 포함하면 많은 Oracle10g&11g ,11g 운영 고객들이있습니다.


Oracle 10g&11g SE RAC with ASM 구축사례

고객명 업무명 node 수 hardware 비고

KDM C 케이블방송 2Node Solaris 10(Sparc) Product (10g)

서초케이블(HCN)케이블방송 2Node Solaris 10(Sparc) Product (10g)

강남케이블(KNC) 케이블방송 2Node Solaris 10(Sparc) Product (10g)

마크로밀코리아 리서치 2Node Solaris 10(x86) Product (10g)마크로밀코리아 리서치 2Node Solaris 10(x86) Product (10g)

KT KT Tips(ARS Hosting) 2Node Solaris 10(Sparc) Product (11g)

CNM 케이블방송 2Node Aix 5L Product (10g)


Th kThank you


고가용성구현을위한저비용db oracle database …oracle rac 추가구매또는10g&11g...

Documents