RHCS 클러스터 구성방안

주식회사 오픈소스컨설팅

2

목차

제품소개

운영체제 설치 방안

2-Node 클러스터 구성방안

Fencing을 위한 네트워크 통신

3

Global File System

MPIO

Red Hat Enterprise Linux

JBoss Application Platform

JBoss Portal Platform, JBoss jBPM, Rules

JBoss SOA Platform, Jboss ESB, MetaMatrix

Veritas Storage Suite

EMC PowerPath

AIX, HP-UX, Solaris

BEA WebLogic Server, IBM WebSphere

BEA/IBM Portal, BEA BPM, ILOG JRules

AquaLogic ESB, IBM ESB, BEA DataServices,IBM EII SOA / ESB 제품

포탈 / BPM 제품

WAS 제품

운영체제 제품

저장장치 제품

클러스터 파일시스템

플랫폼 제품개요

오픈소스 컨설팅에서 서비스를 제공하고 있는 레드햇의 제품군은, 미들웨어 제품인 Jboss 뿐만 아니라

가상화, 고가용성 솔루션까지 오픈소스 환경의 Best Practice를 제공하고 있습니다.

4

RHCS (RedHat Cluster Suite)는 레드햇 엔터 프라이즈 리눅스에 포함되어 있는 오픈소스 기반의

고가용성 어플리케이션 시스템 입니다.

클러스터 제품소개

구분 세부내용

저비용 / 고효율 서브스크립션 기반의 제품으로 저비용으로 고효율의 고가용성 시스템을 구축가능 N개의 클러스터 노드 구성으로 인한 유용성 확보

고가용성을

위한 핵심 기능제공

오픈소스 기반의 SAN 이중화 솔루션 제공 (DM-I/O Multipath) 클러스터 관리를 위한 GUI 인터페이스 및 Locking 매카니즘 제공 다양한 I/O Fencing 범용 매커니즘 제공

고가용성 지원 어플리케이션 Fail-over 기능지원

어플리케이션 확장성 및 데이타베이스 Fail-over 기능지원 (Oracle, Mysql)

최대노드 지원 최대 16개의 클러스터 노드 지원

파일시스템 가용성 NFS/CIFS의 파일시스템에 대한 고가용성 지원

클러스터 기반의 GFS (Global File System) 지원

관리 인터페이스 클러스터를 관리하기 위한 Conga 관리 인터페이스 제공

5

운영체제 설치방안

RHCS (RedHat Cluster Suite)를 구성하기 위한 운영체제의 설치 구성은 아래의 구성방식이

일반적입니다. Third-Party 또는 Oracle 설치에 따라서 파티션 구성은 조금씩 달라질수 있습니다.

구분 세부내용

패키지 설치 운영체제에 대한 패키지 설치는“전체설치”를 권장하고 있습니다. 클러스터를 설치하기 위한 그룹은 “Cluster Storage” 그룹은 반드시 설치해야 합니다.

/ 파티션 설정 운영체제의 기본이 되는 루트 (/) 파티션의 설정은 가능한 많은 용량을 할당해 주는 것이 좋습니다. Third-Party 솔루션이 설치되는 경우 Thirt-Party 솔루션사의 의견을 반영하여 사이즈를 하는것도 권장할수 있습니다.

/var 파티션 설정 /var 파티션의 경우 시스템의 Log의 수집 여부에 따라서 용량을 할당하는 것이 좋습니다.

간혹 Third-Party 의 경우 Log 를 수집하는 파티션을 별도로 구성하는 경우가 있습니다. 운영체제 설치시

반영하여 설치하는 것도 솔루션 운영에 필요할수 있습니다.

/boot 파티션 설정 리눅스 운영체제의 커널이미지 영역을 담고 있는 /boot 영역을 별도의 파티션 영역으로 구분하여 설치는

하는 것도 좋습니다. (ex: 커널 이미지 관리 용이)

/swap 파티션 설정 일반적인 swap 영역의 경우 Real Memory의 2배 정도의 용량을 권하고 하고 있습니다.

8 Page RedHat Swap Memory 용량 산정에 대한 근거 URL 참조

6

운영체제 설치방안

Swap 메모리 산정근거

https://access.redhat.com/knowledge/docs/en-US/Red_Hat_Enterprise_Linux/5/html/Deployment_Guide/ch-swapspace.html

7

2-Node 클러스터 구성방안

Router

Switch1 Switch II

Node 1 Node 2

Eth0 Eth1 Eth0 Eth1

Eth2 Eth3 Eth2 Eth3

bond0

bond1

bond0

bond1

Switch1 Switch II

II.스위치 이중화

Fence Fence

I.스위치 이중화 구분 세부내용

쿼럼 디스크 Qdisk를 제거하여 클러스터 구성합니다 Qdisk를 제거함으로써 운영상의 Failure Point 제거 합니다 전체적인 네트워크의 안정화가 중요합니다

네트워크 구성 HeartBeat Network 및 Fence Network 동일한 네트워크 에서 통신할수 있도록 구성되어야 합니다.

각각의 노드들은 이더넷 본딩(Bonding)을 구성합니다

운영체제 설치 설치전 Third-Part 솔루션과 호환문제 있는지 확인이 필요합니다.

패키지 구성 패키지 설치는“전체설치”로 설치진행

2-Node 클러스터 구성 제안

8

레드햇 클러스터 Fencing 정의

1. Fencing 의 사용 목적

- RHCS의 Fencing 매커니즘은 클러스터 시스템의 Planned 또는 Unplanned 다운 이벤트가 발생했을 경우

데이터를 보호하고 서비스를 유지하기 위한 기능입니다.

- 공유자원을 안전하게 제어한 상태에서 노드를 활성화 시키기 됩니다.

- 커널 패닉 (Kernel Panic)

- System Freeze

- System Hangup

- Live Hang / Recovery

2. Fencing 의 종류

- Power Fencing : 서버의 Management Module 또는 APC switch를 이용하여 Fencing을 시도합니다.

- SAN Fence 및 SCSI-3 PR Fence : SAN Port 또는 디스크의 SCSI-3PR 방식을 이용하여 Reserved된

디스크를 Standby 노드로 옮기게 됩니다.

9

node1 node2

Fencing Module Fencing Module

Heartbeat

Resource Group

Resource Group

Rgmanager

cman cman

Rgmanager

SAN

장애발생

Power Fence

System Rebooting

fence_node

HP: iLo

Dell: Drac

IBM:IMM

HP: iLo

Dell: Drac

IBM:IMM

서비스 전환

Fencing의 종류 (Power Fence)

10

Fencing의 종류 (SCSI Fence)

node1 node2

Fence deamon

Fence deamon

Heartbeat

Resource Group

Resource Group

Rgmanager

cman cman

Rgmanager

SAN Switch

장애발생

fence_scsi Step 1

Node1 에 연결된 볼륨의

SCSI Persistant

Reservate Key

Remove

(scsi 3 pr)

Step 2

Node2 에 연결된 볼륨의

SCSI Persistant

Reservate Key

Register

(scsi 3 pr)

Step 3

Step 4

SPC-3

Compliant 지원

서비스 전환

11

Fencing을 위한 네트워크 구성 (Power Fence)

1. Fence 네트워크 구성

- Fence 네트워크는 Active Node가 문제가 발생됐을 경우 문제가 있는 노드를 클러스터 멤버에서 제외시키기

위해서 Fence 신호를 전달하게 되고 전달된 Fence 신호는 Heat Beat 망을 거쳐서 Fence Device 로 전달

문제있는 시스템을 Re-Booting 시키는 매커니즘으로 동작하게 됩니다.

- Fence 신호가 정상적으로 전달되기 위해서는 Fence 망과 Heart Beat 망간의 통신이 원활하게 진행되어야 합니다.

- 용도별 네트워크가 분리되어 있어도 Fence 망과 HeartBeat이 통신할수 있도록 Routing table이 구성되어 HB망과

Fence 망간의 통신이 원활하게 이루어 지도록 구성되어야 합니다.

Node A Node B

Switch

Fence

Heartbeat Node A Node B

Fence

HB

SERVICE

Routing

Table

2-Node 클러스터 구성 1 2-Node 클러스터 구성 1I

12

Fencing을 위한 네트워크 구성 (SCSI Fence)

1. SCSI Fence (SCSI-3 PR)

- SCSI Fence 를 사용하기 위해서는 각각의 스토리지에 SCSI-3 PR 프로토콜이 제공되어야 합니다.

- SCSI-3 PR 프로토콜의 경우 각각의 스토리지 벤더 별로 제공여부에 대해서 확인이 필요합니다.

Node A Node B

SCSI-3 PR ?

13

2-노드 클러스터 qdisk 사용여부

2-node 구성시 qdisk 사용여부.

1. Qdisk (Quorum) 의 사용 목적

- CMAN HeartBeat Network 과 Fence Network 가 분리되어 구성되어 있을 경우 2-Node 에서는

Split-Brain으로 인해 서로 Fencing (Kill) 하는 현상을 방지하기 위함 입니다.

- CMAN의 HeartBeat Network와 Fence Network가 동일한 네트워크에 구성되어 있으면 Qdisk

(Quorum disk)를 사용하지 않아도 2-Node 클러스터를 구성할수 있습니다. (참조: 슬라이드 10Page)

2. Last Man Standing 구성은 (quorum vote = node수 -1)

3. Totem Token >= 2*qdisk timeout (interval*tko)

- qdisk timeout 은 Multipath timeout의 시간보다 많아야 합니다. (qdisk timeout > multipath timeout)

- RHEL6.3 이상에서는 token 값만 늘리면 자동으로 설정됩니다.

- Heavy IO 상황에서는 qdisk interval을 3초이상으로 설정합니다.

- Heuristic 설정을 통해 실제 live node를 판단합니다. (qdisk가 없을 경우 설정할 필요가 없습니다)

- Deadline IO scheduler를 사용을 권장 합니다. (ex: tuned-adm profile enterprise-storage)

14

Qdisk 적용에 대한 의견 (RedHat)

https://access.redhat.com/knowledge/articles/40051

Using Quorum Disk and Tweaking Cluster Membership

Timers

The use of qdiskd with Red Hat Clustering is optional in most cases.

The exception is a configuration with a two-node cluster where the fence devices

are on a separate network from the cluster heartbeat network,requiring a quorum

disk to prevent split-brain situations from causing a fence race. This configuration

mandates a review by Red Hat.

The use of qdiskd for clusters with more than four nodes is not recommended as it

adds additional complexity with very little benefit. Because it is highly unlikely that

more than 50% of the nodes will fail in a cluster that has more than four nodes at the

same time, users are advised against using qdiskd in such situations. If you have an

absolute need to use qdiskd for clusters with more than four nodes, your cluster

architecture must be reviewed so that Red Hat can confirm and approve the use of a

quorum disk

2-노드 클러스터 qdisk 사용여부

15

Fence 및 Heartbeat 망이 분리될 경우 시스템 클러스터 대안

1. 구성제안

- Fence 망이 분리되면 OS에서 Fence 인터페이스를 Ethernet 으로 인식할수 있도록 구성 합니다.

- 서버에 Ethernet Card를 추가 장착하여 Fence 네트워크의 같은 대역대에 연결 합니다.

- Fence Ethernet와 서버의 IPMI 인터페이스가 서로 통신할수 있도록 환경을 구성 합니다.

- Fence Ethernet이 분리되어 구성될 경우 Qdisk를 사용하여 LastMan Standing 구성을 해주는 것이 좋습니다.

Node A Node B

Fence

HB

SERVICE

16

감사합니다