aws 유안타증권 hpc 적용사례 :: 유안타 증권 추정호 박사 :: aws finance seminar
TRANSCRIPT
AWS 유안타증권 HPC 적용 사례
Jeongho Chu
유안타 증권
Time : 10:30 - 11:20
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
추정호 (OTC운용팀)
Marquis who’s who (2009)
KAIST 수학 (학사)
KAIST 기계공학 (석사)
KAIST 기계공학 (박사)
금융
IT
Quant
수학
Profile
Introduction
What’s a Quant?
Introduction to ELS (Equity Linked Securities)
Dominant Type
• Stepdown
• Auto-callable
• Mixture of many types of options
• Multiple underlying assets
Dominant Underlying Assets
• Equity Indexes
• KOSPI 200, HSCEI, S&P 500, etc…
53
Pricing Method
Mathematical Model
Geometric Brownian Motion
𝑑𝑆
𝑆= 𝑟𝑑𝑡 + 𝜎𝑑𝑊
Black-Scholes equation
𝜕𝑉
𝜕𝑡+ 𝑟𝑆
𝜕𝑉
𝜕𝑆+1
2𝑆2𝜎2
𝜕2𝑉
𝜕𝑆2= 𝑟𝑉
Monte Carlo Method
Finite Difference Method
현재 사내 Computing 환경
• Intel Xeon E5-2600 v3 – 사내에 8대 보유(총 128 Core)
• Accelerator : Intel Xeon Phi × 2
• Grid manager : OpenMPI
• In-House Pricing Engine
• Intel Compiler for optimization
Pricing step down
• # of Product : 500
• # of Scenario : 50
• # of total cases : 25,000
• Computing time for each case : 1 min
• On 128 cores, it requires 3.3 hours
Price surface for 2 index ELS
“128 Core에서는 결과를 얻기 까지 약 3시간이 소요됨”
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
Challenges & Requirements
한정적인 컴퓨팅 자원
높은 투자 비용
필요 컴퓨팅 자원 예측 불가
결과 도출 시간 절감 필요
비용 절감 필요
확장성과 무제한 컴퓨팅 니즈
1
2
3
한정적 컴퓨팅 자원
?
• 하루에 장이 종료되고 특정 시간대에만몰리는 Job의 특성
• 8대(128 Core)의 한정적인 Cluster는 Job이몰리게 되면 대기열이 생기고 응답시간이느려지게 됨
1
높은 투자 비용
• Unit Price : 1,000 ~ 1,500만원
• 1,000 Core 구축 시 최대 3억~5억 필요
• 추가적인 유지보수 비용 소요
• 도입 시 견적, 예측, 설치 등 수개월 소요
“높은 초기 투자비용으로 인해 많은 Core를 구매하기 어려움”
2
Market doesn’t wait for youKOSPI
HSCEI
2,200
1,800
15,000
8,000
-18%
-46%
Needs more
computing power
“Market의 변동성이 클수록 순간적이고 일시적인 컴퓨팅 파워를 요구함”
3
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
Challenges & Requirements
한정적인 컴퓨팅 자원
높은 투자 비용
필요 컴퓨팅 자원 예측 불가
결과 도출 시간 절감 필요
비용 절감 필요
확장성과 무제한 컴퓨팅 니즈
From one instance…
Job A = 1 core x 500 hours
…to thousands
Job A = 500 core x 1 hour
Job A = 1 core x 500 hours
Challenges & Requirements
한정적인 컴퓨팅 자원
높은 투자 비용
필요 컴퓨팅 자원 예측 불가
결과 도출 시간 절감 필요
비용 절감 필요
확장성과 무제한 컴퓨팅 니즈
고객이 이미 사용하고 있는 부분
100%
Time
Spot
0%
AWS Spot Market
데이터센터Utilization
스팟 인스턴스 가격 History
일반 가격의 10~20% 수준
일반 On-demand가격
Agenda
1. Introduction
2. Challenges
3. HPC with AWS
4. Outcome
5. Next Steps
Architecture on AWS
RabbitMQ
NFS
Master
OpenMP
Worker
OpenMP
Worker
OpenMP
WorkerOn demand
Spot
Spot
Spot
10G Network
• Queue 시스템 도입 : 확장성 향상• 고립된 네트워크 : 보안성 향상, 10G 네트워킹 사용으로 퍼포먼스 증대• Master - On Demand Instance, Worker – C4.8XL Spot Instance × 14 • 36 Cores x 14 = Total 504 Cores – 수요에 따라 수분 만에 추가 확장 가능
결론
Cost
• On Premise : 400~600원/hour (3년 감가상각 가정, 32 core 서버 1대, 임대료, 전기 등제외)
• On Demand : 1.91 $/hour (c4.8xlarge : 36core, 추가 비용 없음)
• Spot Instance : 0.2 ~ $/hour
Usage
• 1 × On Demand + 14 × Spot = 540 cores, around 6$/hour (spot : 0.3$ 가정)
• On Premise 이었다면 : 6.8K ~ 10.2K 원/hour (서버 17대)
Time
• 기존 128 Core에서 평균 2 시간이 걸리던 Job이 AWS에서 4배 빨라져 30분으로 단축
• AWS 상에서는 필요한 시간 대에만 구동시켜 사용하기 때문에 더 비용 효율적임
기존 On Premise 대비 약 1/10로 절감 가능
Agenda
1. Introduction2. Challenges3. HPC with AWS4. Outcome5. Next Steps
Future Plan
We consider another 50 scenarios
of market movement.