AWS 클라우드 렌더링을 위한 아키텍처및 사용 사례

박철수 |%솔루션즈 아키텍트

아마존 웹 서비스

목차

• 클라우드 렌더링 개요• AWS상에서의 렌더링 아키텍처• AWS상에서의 렌더링 사용 사례

클라우드 렌더링 개요

렌더링이란?

• 컴퓨터를 이용하여 생성된 시각 특수 효과를 말하며,영화, 텔레비전 및 광고 등에 점점 확대되어 적용

• 현재 비주얼 이펙트 및 애니메이션 분야 뿐만 아니라드라마나 PC, 모바일 및 콘솔 게임 등에서도 렌더링을사용해 생성된 영상을 포함

렌더링 워크플로우

실제 샷

텍스처 합성 빛/그림자 최종 렌더

텍스처 이미지 스크립트 렌더링된 프레임

또는

완전한창작 모델링

영화 한 편 ' “평균”• 110 분

• 6,600 초

• 158,400 프레임 (24 프레임/초)

• 8,847,360 픽셀/프레임 (4K영상기준)

• 10~100 시간/프레임

• 테스트 렌더링, 결과물 성공, 스테레오,

해상도 등에 따라 곱의로 가중

• > 1,584,000 렌더링 시간

영화 제작의 과제

13 12 11 10 9 8 7 6 5 4 3 2 1 0

렌더

링시

간

개봉 날짜까지 기간

온-프레미스 용량

클라우드에서의 렌더링

클라우드를 통해 빠르게 확장하고보다 빠르게 결과를 얻을 수 있는용량을 제공 받음

프로젝트 초기 온-보딩 작품

AWS에서 렌더링을 사용하는 고객

VFX 및 애니메이션1

3 마케팅

5 제조

방송2

4 테마파크

6 게임

7 생명 공학 8 공학 및 건축

대형 VFX%및 특수 애니메이션 스튜디오(전세계 15개)

중형 VFX%및 부티크 포스트(전세계 250개+)

소형 VFX,프로슈머및 개별 사

용자(전세계

10,000개+)

라이선스 볼륨

티어/1

티어/2

티어/3

매우 큰 렌더팜대부분 리눅스 사용1,000~10,000 노드

큰 렌더팜리눅스와 윈도우100~500 노드

소~중규모 렌더팜주로 윈도우, 경우에 따라 OSX4

10~500 노드

개인 렌더팜주로 윈도우최대 35 노드

렌더링 규모에 따른 스튜디오 분류

두 고객의 이야기티어 1 (대형 VFX/애니메이션 스튜디오) 티어 2 및 티어 3%(중형에서 소형)

온-프레미스 하드웨어 상당한 투자 없거나 매우 적은 투자

라이선스 무제한 제한적

프로젝트 구조 내부 고객 및 내부 프로젝트 다른 스튜디오에서 기반한 프로젝트

예산 제약 시간 및 리소스 시간 및 리소스

컴퓨트 요구 사항 매우 높은 확장 높은 확장

인프라 효율성 렌더링 워크로드에 최적화된 온-프레미스 인프라

없거나 매우 적음

클라우드 모델 대부분 하이브리드 대부분 올-인

보안 높은 자산 가치로 인해 필수 고객에 의해 위임

두 고객 모두 같은 것을 요청하고…수 천개의 코어를 온'디멘드로 스핀'업 할 수 있는 능력

어떤 선행 투자없이…4그리고 가장 최신의 구성 활용…

프로젝트 기반의 “일회성”%인프라유연한 라이선스 /4유틸리티 /4시간제…

두 고객 모두 같은 것을 말하며…

=<%$0.01코어/시간 당

필요할 때마다 수 천개의 코어접근

선행 투자 없는 인프라

보다 쉬운 협업

SW%제공업체의 생태계렌더링 하기 위해 대용량 메모리 구성 접근

프로젝트 기반 “일회성”4인프라

실전에 투입되었을 때… !

어디서나 접근 가능한공유 파일시스템 지연 시간 대용량 데이터 셋 많은 인스턴스

{데이터/콘텐트}

AWS 상에서의 렌더링 아키텍처

렌더링 구성 요소 – 워크플로우

공유 스토리지소스 및 레더링 파일

렌더팜

파이프라인 매니저

3D 제작자 / 그래픽 아티스트

렌더링 구성 요소 – 고려 사항

공유 스토리지

렌더팜

파이프라인 매니저

3D 제작자

소스 및 렌더링 파일

매우 낮은 지연시간높은 인터렉티브정확한 색 표현데스크톱 앱

GPU 요구원격 접속대부분 리눅스높은 사양의 CPU/메모리

렌더팜에 작업 분배고가용성 / 라이센싱

CPU/메모리 비율스토리지 접근비용 최적화라이센싱가상화

평균 렌더 시간전형적인 렌더 노드:8-16 물리 CORE8GB - 10GB RAM/CORE1 또는 2 전용 SSD1Gbps 네트워크

큰 소스/이미지 파일 (순차)소규모 / 수 백만개의 스크립트 파일 (랜덤)NFS/CIFS 인터페이스 요구분산 작업에서 데이터/콘텐트 이동스토리지 용량동시 스토리지 접근 (렌더/모델러)

렌더링 구성 요소 – 제품

공유 스토리지

렌더팜

파이프라인 매니저

3D 제작자

소스 및 렌더링 파일

클라우드 렌더링 아키텍처 (올'인)

공유 스토리지

렌더팜

온!프레미스 스토리지

파이프라인 및 라이선스매니저

3D$제작자

원격앱 가상화

AWS%Direct%Connect

모델링 더미 클라이언트

스토리지캐시

Amazon4S3

EC2 인스턴스에서 운영되는 Avere

확장성 있는 EC2%렌더팜

G2%인스턴스에서 운영되는 Appstream또는 Teradici

EC2 인스턴스에서 운영되는 파이프라인 매니저

G2

EC2%스팟

EFS

데이터적재작업자

EC2%스팟

Render$Farm

클라우드 렌더링 아키텍처 (하이브리드)

공유 스토리지

렌더팜

온!프레미스 스토리지AWS%Direct%Connect

스토리지캐시

Amazon4S3

EC2 인스턴스에서 운영되는 Avere

확장성 있는 EC2%렌더팜

EFS

데이터적재작업자

EC2%스팟

온!프레미스 렌더팜온!프레미스 렌더팜의 확장으로클라우드 렌더팜 활용

파이프라인 및 라이선스매니저(클라우드 렌더팜도관리)

AWS Direct Connect

• 온-프레미스에서 AWS로 전용 네트워크 연결• 네트워크 대역폭 및 처리량 보장

• 일관된 네트워크 경험 제공• 프라이빗 연결로 규제 충족 및 안정성 확보• 실시간 데이터 피드 및 하이브리드 환경에 최적

Amazon%Simple%Storage%Service%(S3)

• Amazon S3: 소스를 위한 진정한 단일 저장소–내구성, 비용 효율성 그리고 빠른 속도–확장성이 뛰어난 프론트-엔드

– 멀티-파트 업로드 (병렬 쓰기)– RANGE GET (병렬 읽기)– S3 전송 가속 기능

• 하이브리드 모델에서 온-프레미스 스토리지와Amazon S3를 함께 사용하자

Amazon%Elastic%File%System%

• 페타/바이트 확장을 지원하는 파일 시스템• 스토리지 용량에 따라 처리량은 선형적으로 확장• 각 가용영역에 걸쳐동일 지연 사양• 수천의 동시 NFS4연결• 큰 I/O4크기에 잘동작• 프로비저닝 크기가 아니라 실제 사용한 용량만 지불• 다중/복제 내구성를 가진 관리형 서비스

Amazon%EFS

어디서나 접근 가능한 공유 파일시스템

주기적으로 Amazon%S3%버킷에 저장

자동화된 배포 및 확장

인텔 Lustre FS%(AWS%마켓플레이스)

Lustre 스토리지 노드

Lustre 메타 데이터 노드

더 높은 성능을 추가하기 위해 수평 확장

더 많은 스토리지 공간을 추가하기 위해 수평

확장

렌더링/모델링 노드콘텐트가 포함된Amazon%S3%버킷

론치 시에 메타 데이터노드에 정보 제공

각 처리 노드상에의Lustre 클라이언트

AWS%CloudFormation콘텐트가 포함된 Amazon%S3%버킷

Avere vFXT (AWS%마켓플레이스)

Amazon%EC2%인스턴스

•EC2 스팟

매우 저렴한 가격으로 확장

스팟을 활용은 약간의 노력이 필요

• 상태없고,4분산처리하며,4확장성있는 애플리케이션 구축• 워크로드에 가장 적합한 인스턴스 유형 선택• 가용영역 및 리전에 대한 가격 피드 데이터 입수• 스팟풀 가격과 변동성을 기반으로 론치할 것인가에 대해서 실시간결정• 갑작스러운종료 관리• 가용영역을 걸처 스팟 가격 및 인스턴스 유형 모니터링 및 관리• 스팟에 대한 용량 공간 관리

스팟집합 (Spot%Fleet)

• 스팟 인스턴스를 관리할 수 있는 모든 코드를 작성하는 대신,4단순히지정:• 대상 용량 – 렌더팜 내에 원하는 EC24인스턴스 수• 최대 입찰 가격 –지불 할 수 있는 최대 입찰 가격• 론치 스팩 – 인스턴스 종류 수,4AMI4ID,4VPC,4서브넷,4가용영역 등• IAM%집합 역할 – IAM4역할(role)의 이름 (이 역할은 사용자 대신 EC24인

스턴스를 종료할 수 있도록권한이 포함하고 있어야 함)

3D%제작자 및 그래픽 아티스트

Amazon Workspaces

• VNC나 RDP를 능가하는 성능• 가장 저렴한 옵션 (월 가격) • 데이터 외부 전송 없음• 아주 쉬운 설정• 대체적으로 생산성 있는 도구

Amazon Appstream• VNC나 RDP를 능가하는 성능• GPU (G2) 인스턴스에서 구동• 듀얼 채널 – 16 비트 오디오• 자동 확장 및 권한 부여 서비스

Octane Cloud Workstation • AWS 마켓플레이스• 720p60

Teradici PCoIP• GPU 버전• PCoIP 소프트웨어 클라이언트 및 하드웨어 씬-클라이언트• 위의 모든 것보다 가장 원활한 사용자 경험 제공

*서울 리전 출시 전

클라우드 렌더링 아키텍처 (‘일회성’%인프라)

공유 스토리지

렌더팜

온!프레미스 스토리지

파이프라인 및 라이선스매니저

3D$제작자

원격앱 가상화

AWS%Direct%Connect

모델링 더미 클라이언트

스토리지캐시

Amazon%S3

EC2 인스턴스에서 운영되는 Avere

확장성 있는 EC2%렌더팜

G2%인스턴스에서 운영되는 Appstream또는 Teradici

EC2 인스턴스에서 운영되는 파이프라인 매니저

G2

EFS

데이터적재작업자

프로젝트 기반으로 생성및 제거

EC2%스팟

AWS%CloudFormation

특정 프로젝트를 위한 모든 인프라 자원과 함께 CloudFormation

스택론치

적절하게 스택을 자동 확장

AMI

CloudFormation템플릿

CloudFormation템플릿 종료

‘일회성�인프라 관리

AWS 상에서의 렌더링 사례

Rendering%in%the%Cloud

State%of%the%Union

• AWS4클라우드 규모는 “대용량”임• 클라우드에서 온/디멘드 10/100/1,000/10,0004코어 확장• “대용량”4렌더팜 (실제 예):4

55,000%cores• re:Invent 2015에서:4

EC2%스팟 마켓을 통해~40,000%cores%

매우 저렴한 가격으로 확장

State%of%the%Union

• 데이터와 콘텐트를 위한 진정한 단일 소스 저장소 S3• AWS 마켓플레이스나 SaaS

• Aspera, Signiant, File Catalyst, Expedatition• S3 멀티-파트 업로드• AWS import/export Snowball

• 공유 파일 시스템에 직접 접근• EFS 처리량은 선형적으로 확장• Lustre는 S3 버킷으로부터 데이터 공급 받을 수 있음• Avere는 S3나 온-프레미스 NAS 앞단에 배치 가능

• + Direct Connect

렌더팜에 데이터 공급

EFSS3Multipart

AWS%Snowball

State%of%the%Union

글러벌 렌더링• NVIDIA GPU 기반의 EC2 인스턴스• Nice DCV • Teradici PCoIP• Frame, Otoy• 윈도우와 리눅스 (VNC+VirtualGL)

3D 제작자

모델링 더미 클라이언트

G2인스턴스에서 운영되는원격 애플리케이션

G2그래픽 아티스트를 클라우드로 이동

Walt%Disney%애니메이션 스튜디오

• 대용량 확장 테스트 : • 배포 ~40K cores • 시간 20 분• 활용 스팟 집합• 온-프레미스 데이터를 사용한 하이브리드 렌더링 환경(Avere vFXT)• EFS

• 온-프레미스 환경 보다 빠름

Walt%Disney%렌더팜

렌더팜Avere FXT 클러스터

WDAS 데이터 센터

렌더팜

Avere FXT 클러스터

스토리지

원격 데이터 센터

렌더팜Avere FXT 클러스터

원격 데이터 센터

아티스트

이중화 10Gb

온"프레미스

샌프란시스코

로스앤젤레스

버뱅크

Walt%Disney%렌더팜

가상 사설 클라우드

Avere vFXT

오레곤

스팟 인스턴스EFS

렌더팜Avere FXT 클러스터

WDAS 데이터 센터

렌더팜

Avere FXT 클러스터

스토리지

원격 데이터 센터

렌더팜Avere FXT 클러스터

원격 데이터 센터

샌프란시스코

로스앤젤레스

버뱅크

아티스트

이중화 10Gb

클라우드

• ‘인사이드 아웃’, ‘굿 다이노’ 및

‘도리를 찾아서’ 등에서 활용

• 노드당 내부 비용면에서 스팟 인

스턴스 가격 경쟁력

• 캘리포니아 리전(us-west-1)에 있

는 r3.4xlarge의 5,000 core 이용

Pixar & AWS

국내 AWS 렌더팜 PoC 사례(‘일회성’ 인프라)

CloudFormation (‘일회성’ 인프라)

JSON 형태 파일

파라미터 정의

리소스 생성

액션 구성

프레임워크

스택 생성

스택 갱신

에러 감지 및 롤백

구성된 AWS 리소스

종합적인 서비스 지원

서비스 이벤트 인식

사용자 정의

템플릿 CloudFormation 스택

소프트웨어 구성 요소

공유 스토리지 및 리포지토리

파이프라인 매니저(RMS)

렌더팜 컴퓨팅 자원

• Thinkbox Deadline7 리포지토리

• 윈도우 공유 폴더• MS 윈도우 서버

2008 R2

• Thinkbox Deadline7 클라이언트

• MS 윈도우 서버2008 R2

• Chaos Group V-Ray• Adobe Maya 2016• Thinkbox Deadline7

클라이언트• MS 윈도우 서버

2008 R2

EC2인스턴스

EC2인스턴스

EC2인스턴스

Why AWS 렌더링?

•탄력적으로 컴퓨팅 ’코어’%확장•낮은 비용•일회성 인프라•파트너 생태계

감사합니다