hpc 기본 및 동향b3%b2%b4%f6%… · 8 플린 분류 (flynn’s taxonomy) classic classification...

HPC 기본 및 동향

목차

I. 서론

II. 국내외 동향

III. 주요 업체별 동향

IV. 엑사스케일 컴퓨팅 이슈

V. 수행 연구 소개

1. 매니코어 시스템 기반 작업 처리 기술 연구

2. 매니코어 시스템 기반 고성능 I/O 연구

3. 저전력 프로세서 기반 슈퍼컴퓨팅 활용 기술 개발

VI. 맺음말

I. 슈퍼컴퓨팅 소개

4

슈퍼컴퓨터란?

세계 성능 순위 500위권 내의 컴퓨터를 매년 유럽(6월, International Supercomputing Conference)과

미국(11월, Supercomputing Conference)에서 발표

슈퍼컴퓨터란?

Top 500


PC나 워크스테이션으로는 풀기 어려운 대용량의 정보들을 초고속으로 처리, 활용할 수 있는 컴퓨터 시스템

정보통신분야 기술혁신을 이끄는 원천ㆍ기반기술

• 10년 동안 약 1,000배의 성능 향상

• 기술이전 주기는 더욱 단축될 것으로 예상

초고성능컴퓨터

TFlops(1012 Flops)

서버 및 데스크탑PC

GFlops(109 Flops)

모바일 기기

MFlops(106 Flops)

초고성능컴퓨터

PFlops(1015 Flops)

서버 및 데스크탑PC

TFlops(1012 Flops)

모바일 기기

GFlops(109 Flops)

10년

HW/SW 기술이전

* [그림] 정보통신분야의 기술이전 방향


5

슈퍼컴퓨팅이란?

6

슈퍼컴퓨팅 주요 마일스톤

EDSAC (Electronic delay storage automatic calculator) Maurice Wilkes, University of Cambridge

Mathematical Laboratory, 1949. Used one of the first assemblers called

Initial Orders 제곱표와 소수 목록 계산

Cray-1 Seymour Cray, 1976 Vector pipelining – 136 Mflops

MPP/Commodity Clusters ASCI Red, 1997

• 1 Teraflops • Sandia National Lab • Accelerated Strategic Computing Initiative

지원

Beowulf COTS Clusters, 1994 • Thomas Sterling/Don Becker • x86, Linux, Ethernet → 80% of Top-500 list


7

How HPC fits into Scientific Computing?

Air flow around

an airplane

Navier-stokes

equations

Algorithms, BCs,

Solvers, Application codes,

supercomputers

Viz software

* Source: H. Ryu, “Lecture note: Introduction to Parallel Computing for Scientific Applications,” 2014.


8

플린 분류 (Flynn’s Taxonomy)

Classic classification of parallel architectures (Michael Flynn, 1966)

Based on multiplicity of instruction streams, data storage

Three major modes: SIMD, Shared Memory, Distributed Memory

Different programming approaches are generally associated with different modes of parallelism (threads for shared, MPI for distributed)

A modern supercomputer will have all three major modes present

Today: SIMD / ILP , Shared Memory , Distributed Memory


* Source: T. Sterling and A. Lumsdaine, “Basics of Supercomputing,” ISC Tutorial, 2014

9

예시: 공유 메모리 및 분산 메모리 활용

* Source: G. Hager and G. Wellein, “Parallel Computers,” Introduction to HPC for Scientists and Engineers, CRC press, 2011

<공유 메모리 시스템 (ccNUMA)>

<Hybrid 방식 시스템 – 대부분의 범용 클러스터>


10

슈퍼컴퓨터 구성 방식

벨의 법칙 (Bell's Law)

주요 컴퓨터 아키텍처가 10년 주기로 등장

• Early research – Early adoption – Prime usage – Phase out

초고성능컴퓨터 구성 방식

향후 가속기나 임베디드 프로세서가 많이 쓰일 것으로 예상

<20년간 슈퍼컴 구성방식 비율> <벨의 법칙 기반 슈퍼컴 구성 방식 예상>


11

가속기 활용 현황

Top500 내 가속기 활용 비율 14% (2015)

최근 3년간 가장 좋은 에너지 효율을 보임

Intel Xeon Phi, AMD FirePro, NVIDIA K20x

<년도별 가속기 활용 시스템 수> <년도별 최대 에너지 효율 프로세서>


II. 슈퍼컴퓨팅 국내외 동향

선진국은 슈퍼컴퓨팅의 중요성을 인식,

관련 사업을 체계적으로 추진, 개발 및 활용에 중점적으로 투자 중

▶ 법적, 제도적인 체계 확보를 통한 기술개발 주도 ▶ 테러대응 다음으로 중요한 국가연구개발사업으로 지정하여 추진 ▶ 지속적, 적극적 투자로 세계 최강국 지위 유지

▶ 세계 두 번째 슈퍼컴퓨터 제조국

▶ 국가경쟁력 강화를 위해 전략적 육성 추진

▶ 25개국 참여 PRACE 프로제트로 공동활용체제 구축

▶ 국가 주도의 집중투자로 신흥강국으로 부상 ▶ 2013년 세계 1위 슈퍼컴퓨터 자체개발

세계 최초로 「고성능컴퓨팅법」재정 (’91) 후속법안 제정 및 중장기적 전략목표 수립ㆍ추진

세계 1위 슈퍼컴퓨터 자체 개발(’11)

이화학연구소 주도로 엑사스케일을 목표로 한 Flagship2020 추진 (’14부터, 약 1,300억엔)

인간의 뇌를 구현하는 휴먼브레인 프로젝트 추진

영국은 슈퍼컴퓨팅 소프트웨어 개발 프로젝트에 약 3,500백만 파운드 지원

863계획에 따라 ’15년까지 2대의 100PFlops급 구축 예정

2020년까지 프로세서 및 시스템 칩 등 자체 기술개발 목표

’13년 약 4,300억 원 투자로 세계 1위 슈퍼컴퓨터를 자체개발

연간 1조원 규모 이상을 슈퍼컴퓨터 관련 연구에 투자


* 2013년 NITRD 프로그램은 예산의 1/3이상인 약 1.5조원을 슈퍼컴퓨팅관련 분야에 투자 * 슈퍼컴퓨팅 및 관련 기술개발에 대한 법적, 제도적인 체계 확보를 통한 기술개발을 주도하고 있으며, 슈퍼컴퓨팅을 테러대응 다음으로 중요한 국가연구개발사업으로 지정하여 추진

미국

* 1980년대 후반부터 국가지원으로 슈퍼컴퓨터를 개발2011년 당시 세계 1위 K컴퓨터 개발 일본

EU * PRACE (Partnership for Advanced computing in

Europe): 유럽의 과학자와 기술자에게 최고급 슈퍼컴퓨팅 서비스를 제공

* ’23까지 약 11억 유로 지원

중국

13

http://terms.naver.com/100.nhn?docid=66526

http://terms.naver.com/100.nhn?docid=130044

* [그림] Top 500기준 국가별 성능점유율(’15.11)

* Source: www.top500.org

세계 성능 순위 500위권 내의 컴퓨터를 매년 유럽(6월, International Supercomputing Conference)과

미국(11월, Supercomputing Conference)에서 발표

실측성능을 기준으로 한 점유율에서 미국, 중국, 일본, 독일, 프랑스, 영국의 상위 6개 국가가

전체 성능의 약 83%를 차지

Top 500 현황

14


슈퍼컴퓨팅 분야는 초강국들의 각축장

15


(억 달러)

40

35

30

25

20

15

10

5

History and Forecast 2009-2018 by Product Class

Other

Cloud

Networks

Software

Services

Storage

Servers

* Source: Intersect360 Research, 2014

2009 2010 2011 2012 2013 2014 2015 2016 2017 2018

초고성능컴퓨터 시장 동향

16


TOP500 기준(’15.11), 62%의 슈퍼컴퓨터는 미국 기업들이 제작

2015년 11월 기준 HP(156대), Cray(69대), IBM(45대), SGI(30대),

Dell(11대) 등 미국 기업이 Top500 중 62% 이상을 제작

Sugon(49대), lenovo(25대), Inspur(15대) 등의 중국 기업도 17%

이상을 제작

그 외에도 프랑스의 Bull(21대), 일본의 Fujitsu(12대) 등이 있음

* [그림] 슈퍼컴퓨터 제작사 분포(’15.11 기준)

미국: 초고성능컴퓨팅 시장을 주도

중국: 자국기업 시장 점유율 50% 이상

일본: Fujistu, Hitachi 등 활발

슈퍼컴퓨터 제작사 현황

주요국의 산업 동향

17


1호기(1988~1993): 과학적 기상 예보 시작 및 국산 자동차 설계 및 제작, 원자력의 안정성 분석

2호기(1993~2001): 2000년부터 ‘전략적 자원 할당제도’(현 응용연구지원프로그램)를 통해 일반 연구자 대상 슈퍼컴퓨터 활용 과제 공모

3호기(2002~2007): 전략과제, 거대도전과제지원, 산업체지원 등으로 활용

4호기(2008~현재): 핵심과학자, 창의도전연구, 거대문제, 산업체, 공공국가 현안 등 지원으로 확대

KISTI 슈퍼컴퓨터 변천사

18


’10~’13년(6월 기준) 한국의 슈퍼컴퓨팅 자원 및 성능은 답보상태 미국 6배, 중국 15배 증가

’14~’15년 한국의 슈퍼컴퓨터 성능은 증가 추세 ’13년 6월 대비 약 7배 증가(미국 1.6배, 중국 1.8배)

그러나 아직 미국, 중국, 일본 대비 현격히 낮은 수준(’15년 11월 기준)

한국 대비 미국 24배, 중국 12배, 일본 5배 수준

한국의 구축 현황

19


미국과 한국의 경제력 격차는 13배, 그러나 슈퍼컴퓨팅 성능 격차는 24배!!

* 한국을 1로 했을 때의 격차 비율

* GDP 2015년, 슈퍼컴퓨팅 성능 2015년 하반기 기준

* Source: 2015년 IMF 자료, www.Top500.org

경제력 대비 현격한 성능 격차

경제력 대비 슈퍼컴퓨팅 성능

20


슈퍼컴퓨팅 관련 산업은 미국과 유럽이 주도하고 일본과 중국이 도전하는 상황

국내의 경우 메모리 및 하드디스크 일부를 제외하고 전량 수입에 의존

39 조원

5,000 억원

(’20년)

20 조원

전세계 HPC 시장

2,700 억원

(’12년) (’12년) (’20년 예상) 연 7.6% 성장

국내 HPC 시장

다음 분야에서 시장규모 및 수요의 폭발적 증가 예상

빅데이터 고성능서버 (HPC)

클라우드

IC Insight, 저전력 시스템 연 평균 72% 성장 예상

국내 관련 산업은 전무한 실정

21


▶ 자체개발 기술은 현격히 낮음

▶ 국내 슈퍼컴퓨팅 시장은 전무한 현실

▶ 높은 해외의존도

▶ 새로운 차원의 기술종속과 경쟁열위 발생

▶ 슈퍼컴퓨팅 원천/기반 기술은 대규모

슈퍼컴퓨터 구축경험 없이 확보 불가능

▶ 관련 자체기술개발 추진 필요

슈퍼컴퓨터는 과학기술수준을 높여 국가경쟁력을 제고하는

핵심 인프라로서 수요가 폭발적으로 증가할 예정

기술 현황 산업 특성

▶ HPC, 클라우드, 서버 분야의 향후

시장규모의 큰 확대 예상

▶ 이종시스템과 저전력 분야의 블루오션

가능성 대두

▶ 미국이 시장을 주도, 국내는 충분한

산업경쟁력을 갖추지 못해 정부차원

지원 필요

해외 상황

▶ 현재 이종 아키텍처를 활용, 저전력

시스템으로 넘어가는 기술전환기 도래

▶ 선진국 기술추격 및 세계적 기술

선도를 이룰 수 있는 좋은 기회

“국가 차원 슈퍼컴퓨팅 역량 및 산업 육성을 위한

국가 차원의 종합 추진체계 마련” 22


2011년 미국에 이어 세계 2번째로 슈퍼컴퓨터 육성 법률 제정

『국가 초고성능컴퓨터 활용 및 육성에 관한 법률』

주요 내용: 육성계획 수립, 전담기구 설치, 활용 촉진 등

슈퍼컴퓨팅 육성법

국가초고성능컴퓨팅 기반을 조성하여 과학기술발전 조성을 통한

국가 위기관리, 국민경제의 발전, 국민의 삶의 질 향상

국가초고성능컴퓨팅 육성 기본계획, 시행계획 수립

국가초고성능컴퓨팅위원회 설치, 국가초고성능컴퓨팅센터의 설립

초고성능컴퓨팅 활용 촉진

목 표

주요 내용

국가 초고성능컴퓨팅 기반 조성 국가초고성능컴퓨팅 활성화

• 연구개발의 확대

• 국가초고성능컴퓨팅자원의 도입

• 초고성능컴퓨팅 전문인력의 양성

• 초고성능컴퓨팅자원의 공동활용

• 국가초고성능컴퓨팅의 활용 촉진

• 초고성능컴퓨팅 산업체 지원

주요 역할

23


25

인텔 매니코어 프로세서의 발전

High Bandwidth Memory 추가

NVM 및 Burst Buffer Storage 활용


26

인텔 매니코어 프로세서 (Xeon Phi) 로드맵


27

인텔 매니코어 프로세서 (Knights Landing) 구조 및 사양


28

NVIDIA GPU 로드맵


29

NVIDIA GPU 성능 비교

• 2-way SIMD - FP16 Format 도입


30

NVIDIA NVLINK

4개의 NVLink를 내장, GPU 클러스터 구성은 160GB/s의 BW 을 제공


31

OpenPOWER Foundation


32

OpenPOWER Foundation의 NVIDIA와의 협업


33

OpenPOWER Foundation 로드맵


IV. 엑사스케일 컴퓨팅 이슈 소개

35

엑사스케일 슈퍼컴퓨터 관련 전망

지난 10년간 세계 1위 슈퍼컴퓨터의 연산 성능

35.86TF*(‘03)에서 20,132TF(’12)으로 약 561배 급증

* Teraflops : 초당 1조(1012)회 계산 속도로 대한민국 국민 전체(5천만 명)가

전자계산기로 5.5시간 작업할 계산량을 1초에 연산하는 속도

* 연산성능단위 : TF(TeraFlops,1012)→PF(PetaFlops, 1015)→EF(ExaFlops, 1018)

2020년, 전력 20MWatt 내 엑사스케일 (1018) 슈퍼컴 출현 예상


<년도별 슈퍼컴 성능 예상 추이 (2014.11)>

2015년 11월 기준 합계 실제성능은 418PFlops, 연평균 증가율 약 77%

최근 2~3년은 엑사스케일로의 퀀텀점프를 위한 준비기간 곧 엑사스케일 도달 전망

1위와 500위 성능의 시차는 약 7∼8년으로 나타남

Top 500 성능증가 추이

엑사스케일 슈퍼컴퓨터 관련 전망

36


37

엑사스케일 컴퓨팅 이슈

Extreme parallelism and hybrid design

Preparing for million/billion way parallelism

Tightening memory/bandwidth bottleneck

Limits on power/clock speed implication on multicore

Reducing communication will become much more intense

Memory per core changes, byte-to-flop ratio will change

Necessary Fault Tolerance

MTTF will drop and Checkpoint/restart has limitations

국제공동

전문가협의회

(International

Exascale

Software

Project)

TeraPeta Peta Exa


38

Top 10 Exascale Research Challenges (Feb. 2014)

1. Energy efficiency

2. Interconnect

3. Memory Technology

4. Scalable System Software • scalable, power and resilience aware

5. Programming systems • massive parallelism, data locality, resilience

6. Data management • data volume, velocity and diversity

7. Exascale Algorithms • mathematical SW & optimization

8. Algorithms for discovery, design, and decision • uncertainty quantification

9. Resilience and correctness • faults, reproducibility, verification

10. Scientific productivity


V. KISTI 슈퍼컴퓨터 SW 연구실 수행 연구 소개

40

문제점 및 해결 방안

소프트웨어

컴퓨팅

메모리

네트워크 대규모화

성능 보장 복잡성 증가

안정성 감소

전력소모 증가

오류 증가

안정성 보장

저전력화

효율화

HW & SW

최적화

에너지 자원

활용 자원 문제점 해결 방안


41

슈퍼컴퓨터 소프트웨어 연구에서의 고민

응용 소프트웨어 발전

ISV (Independent Software Vendor)

In-house code

시스템 소프트웨어

운영체제: Linux

주요 업체 상용 프로그램

• Intel Parallel Studio, NVIDIA CUDA 등

하드웨어 발전

프로세서: Intel, NVIDIA, IBM, ARM 등

메모리: 삼성전자, 하이닉스 등

저장장치: 삼성전자 등

인터커넥트: Mellanox, Intel 등

[고민] 우리가 할 수 있는 소프트웨어 연구는?


42

HPC System Stack

* Source: T. Sterling and A. Lumsdaine, “Basics of Supercomputing,” ISC Tutorial, 2014


43

소프트웨어 연구 방향

빅데이터 기술

System on Chip (Mobile AP)

Manycore (KNL)

메모리

스토리지

인터커넥트

프로세서

시스템 성능 분석

실행 성능 최적화

안정성 보장

저전력 소모

ARMv8 (8 cores) x 9 nodes x86 (72 cores) 응용

신규 하드웨어 구성품

최신 트렌드 Cloud, Deep learning, IoT, …

GPU, SSD, …


V.1. 매니코어 시스템 기반 작업 처리 기술 연구

45

인텔 매니코어 프로세서 변화

High Bandwidth Memory 추가



46

인텔 KNL - 사양 (1/6)


47

인텔 KNL – 특징 (2/6)


48

인텔 KNL - 구조 (3/6)


인텔 KNL – 메모리 및 클러스터 모드 (4/6)

Core: ~ 72 Core

Memory: ~ 16GB MCDRAM, ~384GB DDR4

Memory Mode

Cluster Mode

NO SNC(All2All, Hemisphere, Quadrant), SNC-2, SNC-4

Best-Known Method : Quadrant + Cache mode로 시작

App 실행 분석, 최적화 진행 -> 다른 mode로 시도

49


50

인텔 KNL – MCDRAM 활용 모델 (5/6)


51

인텔 KNL – MPSP (6/6)


52

현재 KISTI 보유 KNL 서버 현황

Chassis

2U 크기의 enclosure 안에 AP (Adams Pass) 타입의 4개의 서버

사양

36 Tile, 2 Core/Tile, 72 Core (silver버전)

64KB L1(32KB instruction, 32KB data), 1MB L2

2 IMC (Integrated Memory Controller) and 3 Channels/IMC

96GB DDR4 M/M, 2143 MT/s, 8G McDram

테스트 결과 (6/22 이후 공개)


53

수행 내용

매니코어 프로세서 기반 프로그래밍 모델 개선 연구

차세대 매니코어 프로세서(Intel Knights Landing) 성능분석 및 최적화 연구

매니코어 프로세서 기반 기존 병렬 프로그래밍 모델 개선을 위한 요구사항 도출

매니코어 프로세서의 신규 메모리 아키텍처 분석

기존 DDR4 기반 Platform Memory외 “On-Package, High-bandwidth” Memory

MCDRAM의 2계층 구조 분석

매니코어의 연결 구조 및 메모리 계층 구조를 고려한 성능 분석

Omni Path 연결 네트워크 환경에서의 노드 간 통신 성능 분석


V.2. 매니코어 시스템 기반 고성능 I/O 연구

55

엑사스케일 시스템에서의 스토리지 및 I/O

* Source: J. Dongarra, “Impact of Architecture and Technology for Extreme Scale on Software and Algorithm Design,” Cross-cutting Technologies for Computing

at the Exascale, Feb 2-5, 2010.


56

데이터 집약형 응용의 확대

과학응용 분야에서 데이터 집약형 응용 연구의 지속적인 확대

[AS-IS] 시뮬레이션 데이터 분석 및 가시화 (post processing)

[TO-BE] 시뮬레이션 + 데이터분석 및 가시화 (in-situ, in-transit processing)

대표적인 데이터 집약형 응용 분야

[고에너지 물리] 강입자 충돌기(LHC)를 이용한 우주의 기원 발견

[기후과학] 전지구 모델(ESM)을 이용한 기후 변화 예측

[생명공학] 차세대 유전자 시퀀싱(NGS)에 기반한 인간 유전체 분석

단계 역할

데이터 생성 (Data Generation) 시뮬레이션이나 거대과학장비를 통한 데이터 생성

데이터 처리 및 구성

(Data Processing)

(1) 쿼리 기반 분석 및 가시화를 위한 데이터 변환, 가공 및 재구성

(2) 온라인 분석(in-situ analysis) 혹은 후처리 분석

(3) 데이터 수집, 분배, 연계 및 공유

데이터 마이닝 (Data Mining) (1) 데이터 간의 관계, 연관 분석을 위한 마이닝 알고리즘 적용

(2) 예측 모델 수행 및 지식 발견

인사이트 도출 (Derive Insight) (1) 인사이트 도출

(2) 이후의 시뮬레이션 혹은 실험 수행에 반영


57

슈퍼컴퓨터 구조 변화

데이터 집약형 응용 지원을 위한 슈퍼컴퓨터 구조 변화 및 시스템 도입 사례 확대

I/O 성능 향상을 위한 NVRAM, Burst Buffer 등의 차세대 I/O 기술을 이용한 I/O 가속 시스템 적용 확대

도입 사례(예정): Summit (ORNL), Cori (LBNL) 등


58

인텔 Omni-Path 기반 계층적 I/O 아키텍쳐


계산 노드로의 데이터 전진 배치를 통한 데이터 집약 응용의 효율적인 지원


59

NERSC-8 Use Case 시나리오

Burst Buffer Use Cases

Checkpoint-Restart

Data Cache

Temporary Job Data

Data Analysis and Visualization

<NERSC-8(Cori) Architecture >


60

수행 내용

차세대 매니코어 프로세서 기반 I/O 성능 분석 연구

KNL에서의 3가지 구성에 대한 성능 분석

1. SATA Interface + HDD (local) + ext4

2. PCIe + NVMe SSD (local) + ext4

3. Omni-Path Interface + HDD (remote)

+ Lustre (single node)

오픈소스를 활용한 계층적 I/O 시스템 설계 및 구축

메모리 기반 차세대 I/O 스토리지 출현으로

Memory-SSD-HDD간의 효율적인 연계

활용이 중요

차세대 I/O 스토리지 기반 계층적 I/O

시스템 설계, 구축 및 최적화


V.3. 저전력 프로세서 기반 슈퍼컴퓨팅 활용 기술 개발

62

전력 소비 및 효율화

전력 소비: 슈퍼컴퓨터 운용 비용의 큰 부분

전력 및 전력 분배/UPS/냉각 등: 약 41.6%

향후 고성능 슈퍼컴의 경우, 전력 비용이 더 커질 것으로 예상

• 현재 KISTI 슈퍼컴퓨터 전기료: 년 26억원 (2011년)

전력 효율화를 위한 Mobile SoC 활용

Mobile SoC의 경우, 기본적으로 배터리 사용을 전제로 개발하여 일정 이하의 전력 소비에서 최대한의 성능을 낼 수 있도록 개발

< 배정밀도 실수 연산 성능 예상>


63

저전력 프로세서 기반 클러스터 프로토타입

프로세서: 삼성 Exynos 7420

14nm 공정의 big.LITTLE 코어, 64bit ARM 프로세서

클러스터 구성

관리 노드 1개, 컴퓨팅 노드 8개, 스위치 노드 2개, 스토리지 노드 1개 (250G), 1G Ethernet

<관리 노드 전자회로기판 설계도면 및 실물> <컴퓨팅 노드 전자회로기판 설계도면 및 실물>

<스토리지 노드 전자회로기판 설계도면 및 실물> <스위칭 노드 전자회로기판 설계도면 및 실물>


64

수행 내용

저전력 프로세서 기반 시작품 개선

서버 집적도 향상 및 소형화

시작품 시스템 안정화 및 검증

전력 절감을 위한 시스템 분석 기법 연구

활용 응용 탐색 및 검증


VI. 맺음말

66

수행 연구 요약

목표 - 시스템 활용 극대화 SW 개발

• 고려사항: 성능, 안정성, 저전력

주제

(단기) 매니코어 시스템 기반 소프트웨어 연구

(장기) 엑사스케일 컴퓨팅 대비 소프트웨어 연구

수행 연구 내용

(시스템 분석 기술 연구)

[컴퓨팅 성능] 매니코어 시스템 기반 작업 처리 기술 연구

[I/O 성능] 매니코어 시스템 기반 고성능 I/O 연구

[저전력 프로세서 활용] 저전력 프로세서 기반 슈퍼컴퓨팅 활용 기술 개발

hpc 기본 및 동향b3%b2%b4%f6%… · 8 플린 분류 (flynn’s taxonomy) classic classification...

Documents