리눅스리눅스 클러스터클러스터 기반의기반의

통계해석시스템통계해석시스템 구축구축

((Oracle9Oracle9ii RAC)RAC)

20032003년년 44월월 2222일일

포스데이타포스데이타 리눅스병렬처리개발팀리눅스병렬처리개발팀

이이 태태 호호http://cluster.posdata.co.http://cluster.posdata.co.krkr

EE--Mail : Mail : cluster@cluster@posdataposdata.co..co.krkr

Phone : 031Phone : 031--779779--2502, 22852502, 2285

목차목차

I.I. 소개소개

II.II. 기술적기술적 배경배경

III.III. 병렬병렬 시스템을시스템을 이용한이용한 통계해석통계해석 시스템시스템 구축구축

IV.IV. 병렬처리병렬처리 시스템의시스템의 향후향후 발전발전 방향방향

I I 소개소개

POSDATAPOSDATA주요주요주요 사업사업사업 내용내용내용

•• 병렬처리병렬처리 시스템시스템 구축구축, , 테스트테스트 및및 컨설팅컨설팅

-- APAP지역지역 IBM IBM 리눅스리눅스 클러스터클러스터 Competency Center Competency Center 운영운영-- POSDATAPOSDATA--Intel Lab Intel Lab 센터센터

•• 솔루션솔루션 업체와의업체와의 전략적전략적 제휴제휴 강화강화((한국한국 IBM, IBM, 인텔인텔, , Oracle Oracle 등등))

•• 병렬병렬 DBMSDBMS•• 대용량대용량 데이타데이타 처리처리 솔루션솔루션((ee--CRM, Mining)CRM, Mining)•• 대규모대규모 사용자사용자 및및 트랜잭션트랜잭션 처리를처리를 위한위한 웹웹 클러스터링클러스터링

•• 대용량대용량 유전자유전자 서열검색서열검색((특허출원특허출원, , 한국한국 S/W S/W 대전대전 은상은상))•• 실시간실시간 교통흐름교통흐름 시뮬레이션시뮬레이션((서울시서울시 납품예정납품예정))

•• 리눅스리눅스 병렬시스템병렬시스템 일반교육일반교육 ((설치설치 및및 운영운영))•• 병렬처리병렬처리 프로그래밍프로그래밍 및및 병렬처리병렬처리 컴퓨터컴퓨터 구축구축

병렬처리병렬처리 컴퓨터컴퓨터 구축구축 및및 컨설팅컨설팅 사업사업

병렬처리병렬처리 솔루션솔루션 확보확보((판매판매) ) 및및 개발개발

산산..학학..연연 공동개발공동개발 통한통한 자체자체 솔루션솔루션 확보확보

병렬처리병렬처리 전문전문 교육센타교육센타 운영운영

POSDATAPOSDATA목목목 표표표

Database

Network

Hardware

통합및

병렬구성

시스템 통합 및고성능 엔터프라이즈

시스템 구현

OS 컨설팅능력

구축 노하우

전략적 제휴

II II 기술적기술적 배경배경

POSDATAPOSDATA리눅스리눅스리눅스 시스템시스템시스템

리눅스리눅스 시스템시스템 개요개요• GNU Public License 개념 하에 배포된 Open Source Software• 인터넷을 사용하는 개방형 소스 사용자 그룹에 의해 테스트

되고 개발• 현재 많이 사용하는 Unix와 비슷한 운영체제(Unix 표준수용)

리눅스의리눅스의 장점장점•• 개방형으로개방형으로 개발개발 / / 사용자사용자 중심적중심적•• 소스코드소스코드 공개로공개로 변형변형 가능하며가능하며, , 저작권저작권 비용비용 없음없음•• 소스코드를소스코드를 이용하여이용하여 시스템시스템 통합이통합이 효과적으로효과적으로 이루어질이루어질

수수 있음있음•• 버그버그 수정이수정이 사용자와사용자와 개발자개발자 모두모두 참여참여 하여하여 가능가능•• 소스코드가소스코드가 공개되어공개되어 소프트웨어의소프트웨어의 존속이존속이 보장됨보장됨

POSDATAPOSDATA리눅스리눅스리눅스 시스템시스템시스템(((계속계속계속)))

리눅스리눅스 시스템의시스템의 발전발전 가능성가능성•• 정보시스템정보시스템 운영을운영을 위한위한 안정된안정된 솔루션솔루션

99.999%(24/7) 99.999%(24/7) 가용성가용성 보장보장

다양한다양한 업무와업무와 IT IT 환경환경 지원을지원을 위한위한 커스터마이징과커스터마이징과옵티마이징옵티마이징•• 지원지원 라이센스의라이센스의 부담이부담이 없음없음

•• 업무에업무에 맞게맞게 커스터마이징커스터마이징 및및 옵티마이징옵티마이징 가능가능

운영체제운영체제 대비대비 운용운용 및및 기술적기술적 우위우위•• 다양한다양한 플랫폼플랫폼 지원지원

•• 유연성유연성 및및 확장성확장성 보장보장

•• 뛰어난뛰어난 안정성과안정성과 보안성보안성 및및 효율적인효율적인 보안보안

•• 많은많은 장치장치 지원지원 및및 뛰어난뛰어난 성능성능, , 저렴한저렴한 관리관리 비용비용

POSDATAPOSDATA리눅스리눅스리눅스 활용분야활용분야활용분야

• 방화벽• 파일 / 프린트• 웹 서버• 메일 서버

• 방화벽• 파일 / 프린트• 웹 서버• 메일 서버

• 대규모 클러스터• 소프트웨어 개발• 전자상거래• 임베디드 디바이스• 웹 호스팅• 지점 자동화

• 방화벽• 파일 / 프린트• 웹 서버• 메일 서버

• 데이타베이스 서버• ERP, CRM, SCM• 통합 어플리케이션

• 대규모 클러스터• 소프트웨어 개발• 전자상거래• 임베디드 디바이스• 웹 호스팅• 지점 자동화

인터넷을인터넷을 기반으로기반으로 탄생한탄생한 LinuxLinux는는 빠른빠른 시간시간 내에내에 전전 비즈니스비즈니스 영역으로영역으로 활용활용이이 확대되고확대되고 있으며있으며, , 향후향후 LinuxLinux는는 ee--BusinessBusiness를를 뒷받침하는뒷받침하는 기본기본 OSOS가가 될될 것것입니다입니다..

POSDATAPOSDATA엔터프라이즈엔터프라이즈엔터프라이즈 환경환경환경

•• 가용성이가용성이 중요한중요한 기간기간 업무업무

•• 클라이언트가클라이언트가 수백수백 개개((대략대략 500500개개 정도정도) ) 이상이상

•• 대형대형 어플리케이션어플리케이션 사용사용 위주로위주로 한한 어플리케이션어플리케이션 서버서버

운영운영

•• 수백만수백만 건건 이상의이상의 레코드를레코드를 가진가진 데이타베이스데이타베이스

•• 데이타데이타 및및 업무가업무가 복잡하며복잡하며, , 증가량이증가량이 많은많은 시스템시스템

POSDATAPOSDATA엔터프라이즈엔터프라이즈엔터프라이즈 환경과환경과환경과 리눅스리눅스리눅스

•• 데이타데이타 증가증가 또는또는 업무업무 복잡성을복잡성을 고려한고려한 ArchitectureArchitecture

•• 다양한다양한 시스템시스템 확장성확장성 및및 성능향상이성능향상이 가능한가능한 시스템시스템

•• 고성능고성능 DB DB 지원지원 및및 무정지무정지 시스템으로시스템으로 가능한가능한 시스템시스템

엔터프라이즈엔터프라이즈 서버의서버의 고려사항고려사항

엔터프라이즈엔터프라이즈 환경에서환경에서 리눅스리눅스 적응적응 능력능력

•• 커널의커널의 발전에발전에 따라따라 성능의성능의 향상향상

-- 효율적인효율적인 메모리메모리 관리관리 / / 다중다중 프로세스에프로세스에 대한대한 효율적효율적 지원지원-- I/O I/O 작업의작업의 효율성효율성 증가증가-- 대규모대규모 파일과파일과 다양한다양한 파일파일 시스템시스템 지원지원

•• 시스템시스템 관리를관리를 위한위한 다양한다양한 어플리케이션어플리케이션 증가증가

-- Large Storage Large Storage 및및 RAID RAID 지원지원-- 고속고속 Network (ATM,GIGA,Network (ATM,GIGA,MyrinetMyrinet etc) etc) 및및 Interface Interface 지원지원

POSDATAPOSDATA엔터프라이즈엔터프라이즈엔터프라이즈 환경에환경에환경에 대한대한대한 리눅스리눅스리눅스 지원지원지원 현황현황현황

BEA(BEA(턱시도턱시도) ) 등등미들웨어미들웨어 어플리케이션의어플리케이션의 지원지원

Oracle (9Oracle (9iASiAS),),ToinBToinB, BEA(, BEA(WebLogicWebLogic) ) 등등어플리케이션어플리케이션 서버의서버의 지원지원

Oracle, IBM, Oracle, IBM, 사이베이스사이베이스 등등대형대형 데이타베이스데이타베이스 업체들의업체들의 DBMSDBMS의의

지원지원

IBM, HP(COMPAQ), DELL, SGI, INTEL IBM, HP(COMPAQ), DELL, SGI, INTEL 등등

대형대형 시스템시스템 업체들의업체들의 리눅스리눅스 지원지원

Oracle, SAP(R/3) Oracle, SAP(R/3) 등등대형대형 ERP ERP 업체의업체의 지원지원

IBMIBM의의 Tivoli, CATivoli, CA의의 UniCenter UniCenter 등등 다양한다양한운영운영 관리관리 및및 백업백업 솔루션솔루션 등등

시스템운영을시스템운영을 위한위한 어플리케이션의어플리케이션의 지원지원

지원현황지원현황내내 용용

POSDATAPOSDATA엔터프라이즈엔터프라이즈엔터프라이즈 환경환경환경 --- 클러스터클러스터클러스터 시스템시스템시스템

CPUCPU확장은확장은 가능하나가능하나 선형적선형적 성능성능

증가증가 지원지원 못함못함

((CPU CPU 성능한계성능한계))

데이타데이타 및및 사용자사용자 증가에증가에 따른따른

노드노드 확장이확장이 가능하며가능하며 선형적선형적

성능성능 증가증가 지원지원

((향후향후 용량확장용량확장 용이용이))

확장성확장성 및및

성능성능 증가율증가율

단일노드로서단일노드로서 공유메모리공유메모리 사용사용

((CPU CPU 확장확장 제한제한))

여러여러 개의개의 SMPSMP노드가노드가 하나의하나의시스템시스템 이미지를이미지를 가짐가짐..

구조구조

SMPSMPClusterCluster구구 분분

CPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPU

Memory

LAN

MemoryMemoryMemory

POSDATAPOSDATA엔터프라이즈엔터프라이즈엔터프라이즈 환경환경환경 --- 클러스터클러스터클러스터 시스템시스템시스템(((계속계속계속)))

낮음낮음적합적합적합성적합성

단일단일 노드에서는노드에서는 지원지원 못함못함

((업무중단업무중단))

한한 노드에서노드에서 장애장애 발생시발생시다른다른 노드로노드로 부하분산부하분산 및및재분배재분배 ((무정지무정지 시스템시스템

가능가능))

가용성가용성

SMPSMPClusterCluster구구 분분

POSDATAPOSDATA클러스터클러스터클러스터 시스템시스템시스템 구성구성구성

Vendor / 3rd Party Vendor / 3rd Party 제공제공ClusterWareClusterWare기타기타

SANSANStorageStorage

Linux, Unix, NT Linux, Unix, NT 등등OSOS

SWSW Oracle9i RAC, DB2 EEE, Sybase Oracle9i RAC, DB2 EEE, Sybase 등등

병렬병렬 데이타베이스데이타베이스 가능가능 시스템시스템

Clustered Clustered DatabaseDatabase

HP, IBM, Dell, Intel HP, IBM, Dell, Intel 등등ServerServer

HWHWPrivate (Private (GiGAGiGA, , Myrinet Myrinet 등등))

Public(Public(GiGAGiGA, , MyrinetMyrinet, Ethernet , Ethernet 등등))NetworkNetwork

POSDATAPOSDATA엔터프라이즈엔터프라이즈엔터프라이즈 환경환경환경 --- DW DW DW 시스템시스템시스템

•• 데이터의 폭발적 증가

엔터프라이즈 시스템에서의 확장성 필요

병렬처리기술 필요

•• 비즈니스 인텔리전스 툴 이용

•• 더 복잡해진 Query

다양한 사용자 요구 충족(비정형)

더 지능화된 비즈니스 툴

•• 사용자 증가

사용자 증가에 따른 확장 및 미래의 확장에 대비

•• 대용량, 병렬 컴퓨팅을 지원하는 RDBMS 사용

III III 병렬시스템을병렬시스템을 이용한이용한 통계해석통계해석 시스템시스템

구축구축

POSDATAPOSDATA소개소개소개

주요주요 고객사인고객사인 PP사에서의사에서의 병렬시스템을병렬시스템을 이용한이용한 통계해석통계해석

시스템시스템 구축구축

목적목적

PP사의사의 통계해석통계해석 업무업무 시스템시스템 성능성능 개선개선 및및 확대확대 구축구축

비정형비정형 분석분석 시스템시스템 활성화에활성화에 따른따른 DBDB부하부하 해소해소 방안방안 모색모색

클러스터클러스터 데이타베이스데이타베이스 시스템의시스템의 성능성능, , 안정성안정성, , 운영성을운영성을

BMT BMT 한한 후후 검증하여검증하여 이를이를 실실 시스템에시스템에 적용적용

POSDATAPOSDATA업무업무업무 추진추진추진 배경배경배경

•• 업무영역업무영역 확대확대 구축에구축에 따른따른 고성능고성능 시스템시스템 구축구축 필요필요

•• 지원지원 업무업무 영역영역 확대에확대에 따른따른 시스템시스템 지원지원

•• 향후향후 Architecture Architecture 변경에변경에 따른따른 확장성확장성 확보확보

((C/S C/S 환경의환경의 Architecture Architecture --> Web> Web환경의환경의 Architecture)Architecture)

POSDATAPOSDATA시스템시스템시스템 구성구성구성 기본기본기본 요건요건요건

•• 데이타데이타 증가증가 혹은혹은 업무업무 복잡성을복잡성을 고려한고려한 H/W H/W

Architecture Architecture 구성구성

•• 시스템시스템 확장성확장성 및및 성능성능 향상을향상을 위한위한 H/WH/W구성구성

•• 고성능고성능 DBDB서버서버 구성구성 및및 무정지무정지 시스템시스템 구현구현

•• 시스템의시스템의 H/W ArchitectureH/W Architecture는는 PP사사 전사전사 가동환경으로가동환경으로

고려고려 ((동시동시 사용자수사용자수 610610명명 이상이이상이 사용사용 시스템시스템))

POSDATAPOSDATA시스템시스템시스템 구성구성구성 기본기본기본 방향방향방향

H/WH/W

•• 전사전사 확대되는확대되는 시스템을시스템을 수용수용 가능한가능한 고성능고성능 대용량대용량 구성구성

•• C/SC/S환경환경 및및 확장성확장성 고려고려((Network Network 포함포함))

통계해석통계해석 시스템시스템

•• 확장성을확장성을 감안감안, , 클러스터클러스터 데이타베이스데이타베이스 구성구성

•• DBDB서버서버 부하분산에부하분산에 C/SC/S환경환경 지원지원

•• 고성능고성능 DBDB서버로서버로 구성구성 및및 무정지무정지 시스템시스템 구현구현

POSDATAPOSDATASMPSMPSMP와와와 클러스터클러스터클러스터 시스템의시스템의시스템의 비교비교비교

CPUCPU확장은확장은 가능하나가능하나 선형적선형적 성능성능

증가증가 지원지원 못함못함

((CPU CPU 성능한계성능한계))

데이타데이타 및및 사용자사용자 증가에증가에 따른따른

노드노드 확장이확장이 가능하며가능하며 선형적선형적

성능성능 증가증가 지원지원

((향후향후 용량확장용량확장 용이용이))

확장성확장성 및및

성능성능 증가율증가율

대용량대용량 OLTPOLTP처리에처리에 적합적합, , I/OI/O처리에처리에 병렬성을병렬성을 지원하지지원하지 못못하므로하므로 부적합부적합

((확장성확장성 한계한계))

각각 노드간노드간 병렬처리로병렬처리로 시시스템스템 부하분산부하분산 및및 확장성확장성우수우수구조적구조적 적합적합

SMPSMPClusterCluster구구 분분

POSDATAPOSDATASMPSMPSMP와와와 클러스터클러스터클러스터 시스템의시스템의시스템의 비교비교비교 결과결과결과

고객사인고객사인 PP사의사의 통계해석통계해석 시스템으로시스템으로 경제성경제성, , 대용량대용량, , 확장성확장성, ,

고성능고성능, , 가용성가용성 시스템을시스템을 구축하기구축하기 위한위한 시스템으로서시스템으로서

클러스터클러스터 시스템시스템으로으로 구축하는구축하는 것이것이 적합적합

POSDATAPOSDATA시스템시스템시스템 구성도구성도구성도

SCP Server

ERP Server

A지역

AP 서버

B지역

AP 서버

A지역

분산 서버

B지역

분산 서버

LoadBalancer

사용자 서울지역 제철소

POSDATAPOSDATA클러스터클러스터클러스터 시스템시스템시스템 기본기본기본 구성도구성도구성도

POSDATAPOSDATA시스템시스템시스템 구성구성구성 내용내용내용

ModelModel IBM x440 SMPIBM x440 SMP

VersionVersionSuSESuSE Linux Enterprise Server 7 Kernel Linux Enterprise Server 7 Kernel (2.4.18(2.4.18--64GB64GB--SMP) 32 bitSMP) 32 bit

VersionVersionOracle9i RAC (9.2.0.2)Oracle9i RAC (9.2.0.2)

partitioning optionpartitioning option

CPUCPU Intel Xeon MP 1.4GHz * 4WayIntel Xeon MP 1.4GHz * 4Way

MemoryMemory 8 8 GBGB

HWHW

StorageStorageModelModel Model 800Model 800

채채널대역폭널대역폭 2 2 GB/sGB/s

NetworkNetworkModelModel Gigabit Ethernet (Public + Private)Gigabit Ethernet (Public + Private)

SpeedSpeed 1 1 GbpsGbps

OSOS

DBDB

POSDATAPOSDATA클러스터클러스터클러스터 데이타베이스데이타베이스데이타베이스 시스템시스템시스템 구축구축구축

Storage SharingStorage Sharing

Load BalanceLoad Balance

Cluster DB tuningCluster DB tuning

Cluster DB DesignCluster DB Design

Interconnect networkInterconnect network

ClusterwareClusterware

OS tuningOS tuning

H/W ClusteringH/W Clustering

Load BalanceLoad Balance

Fail OverFail Over

고려사항고려사항

Cluster DBCluster DB

NetworkNetwork

StorageStorage

OSOS

H/W ArchitectureH/W Architecture

POSDATAPOSDATA클러스터클러스터클러스터 데이타베이스데이타베이스데이타베이스 시스템시스템시스템 구축구축구축(((계속계속계속)))

병렬병렬 시스템시스템구축구축 노하우노하우

필요필요

H/WArch.

Network

Storage공유

OSCluster

ClusterDB, 설계

Cluster SystemTuning

POSDATAPOSDATA구축효과구축효과구축효과

•• 높은높은 가격대비가격대비 성능성능

•• 시스템에시스템에 대한대한 효율적효율적 관리관리 및및 지원지원

•• 모든모든 시스템을시스템을 모두모두 ActiveActive상태상태 JobJob에에 대해서대해서 분산분산

처리로처리로 사용자에사용자에 신속히신속히 응답응답

•• 설치설치 시스템시스템 100% 100% 활동활동

•• 사용자에사용자에 대한대한 급격한급격한 증가에증가에 대비대비((사용자사용자 증가에증가에

따른따른 성능성능 유지유지))

•• 확장성확장성 보장과보장과 일정한일정한 Response Response 보장보장

•• 복잡한복잡한 Query(group byQuery(group by등등))를를 병렬로병렬로 처리함으로써처리함으로써

성능성능 향상향상

POSDATAPOSDATA성공요인성공요인성공요인

리눅스리눅스 병렬병렬데이타베이스데이타베이스

병렬처리병렬처리 시스템시스템구축구축 노하우노하우((포스데이타포스데이타)

..엔터프라이즈급엔터프라이즈급

..안정성안정성

..높은높은 성능성능

..고성능고성능

..확장성확장성

)

IV IV 병렬처리병렬처리 시스템의시스템의 향후향후 발전발전 방향방향

POSDATAPOSDATA리눅스리눅스리눅스 기반기반기반 병렬병렬병렬 처리처리처리 시스템시스템시스템 지속적인지속적인지속적인 발전발전발전

•• 기존기존 DWDW서버서버 등등 대용량의대용량의 UNIX UNIX 시스템시스템 대비대비 리눅스리눅스 병렬처리병렬처리

서버가서버가 가격대가격대 성능성능 비비 약약 22배배 이상이상 우수우수

가격비율가격비율 : : 약약 50% 50% 저렴저렴

성능비율성능비율 : 20% : 20% 이상이상 빠름빠름

•• 클러스터클러스터 기반기반 병렬병렬DBMSDBMS는는 성능성능 뿐만뿐만 아니라아니라 시스템시스템 가용성과가용성과

부하분산부하분산 기능도기능도 기존기존 SMP SMP 서버보다서버보다 성능이성능이 훨씬훨씬 우수우수하며하며,,

노드노드 확장에확장에 따른따른 성능성능 증가율에서도증가율에서도 SMPSMP서버의서버의 성능성능 한계를한계를

극복극복 가능가능

•• 리눅스리눅스 기반기반 병렬처리병렬처리 서버는서버는 안정성과안정성과 노드노드 확장성확장성 및및 입출력의입출력의

병렬성을병렬성을 근간으로근간으로 경제성경제성, , 성능성능, , 확장성확장성 지원지원

POSDATAPOSDATA리눅스에리눅스에리눅스에 646464bit bit bit 시스템시스템시스템 적용적용적용

•• 3232bit bit 시스템시스템 한계한계 극복극복((가격가격 대비대비 성능성능 22배배 이상이상))

•• 하이하이--엔터프라이즈엔터프라이즈 시스템시스템 구현구현

•• 작업부하의작업부하의 현재현재 및및 미래미래 요건을요건을 처리하기처리하기 위한위한 성능성능

•• 더더 많은많은 데이타와데이타와 사용자사용자 처리처리

POSDATAPOSDATA리눅스의리눅스의리눅스의 엔터프라이즈급엔터프라이즈급엔터프라이즈급 시장시장시장 진입진입진입 가속화가속화가속화

•• Database, Data Warehouse, ERPDatabase, Data Warehouse, ERP등등

어플리케이션어플리케이션 다양화다양화

•• 대형시스템에대형시스템에 최적화된최적화된 기능기능

•• 하드웨어의하드웨어의 성능에성능에 최적화최적화

•• 응용소프트웨어에응용소프트웨어에 대한대한 충분한충분한 지원지원

•• 편리한편리한 사용자사용자 환경환경

•• 컨설팅컨설팅 및및 구축구축 노하우노하우 축적축적

&