самый умный в мире суперкомпьютер - miptсамый умный в...

2 Introducing the Summit Supercomputer

самый умный в мире суперкомпьютер

TOP500

ноябрь 2018

5

Производительность

• 200 PFlops для задач моделирования

• 3.3 ExaOps для задач аналитики и искусственного интеллекта

Каждый узел содержит

• 2 процессора IBM POWER9

• 6 GPU NVIDIA Tesla V100

• 608GB быстрой памяти

• 1.6 TB NVMe

Решение состоит из:

• 4608 узлов

• Двухканальной сети Mellanox EDR InfiniBand

• Файловой системы IBM SpectrumScale на 250 PB, передающая данные на 2.5 TB/s

Компоненты решения


Дом, где живет Summit: Национальная лаборатория

департамента энергетики США в Оак-Ридж

Национальная лаборатория в Оак-Ридж является

крупнейшей открытой научной лабораторией Министерства

Энергетики США

6 Introducing the Summit Supercomputer6

IBM создала Summit

3+

ExaOps

AI Exascale

Сегодня

1.74XМеньше

энергопотребление

4.6XМеньше ядер

2,282,544

10,649,600

Количество ядер

IBM vs Sunway

Summit – IBM Power Systems

AC922, IBM Power 9 22C

3.07GHz, Nvidia Volta GV100

Sunway TaihuLight – Sunway

MPP, SW26010 260C 1.45Ghz

RMAX Tflop/s

IBM vs Sunway

1.49XБольше TFlop/s

187,659

125,439

Потребление (kW)

IBM vs Sunway

8,806

15,371


Процессор IBM Power9

• До 24 ядер

– P9 на Summit обладают 22 ядрами для оптимизации

производительности

• PCI-Express 4.0

– 2x быстрее чем PCIe 3.0

• NVLink 2.0

– Когерентное, высокоскоростное соединение с GPU

• 14nm FinFET SOI технология

– 8 миллиардов транзисторов

• Кэш

– L1I: 32 KiB на ядро, 8-полос

– L1D: 32KiB на ядро, 8-полос

– L2: 256 KiB на ядро

– L3: 120 MiB eDRAM, 20-полос


Характеристики карт NVIDIA Volta


План этажа со стойками Вычислители (256)Коммутаторы (18)СХД (40)Инфраструктура (4)


Summit в цифрах

200 петафлопная машина Summit, может выполнять 200 квадриллионов операций с плавающей точкой в секунду (флопc). Если каждый человек на Земле выполнит один расчет в секунду, то для выполнения того, что Саммит может сделать за 1 секунду, потребуется 305 дней.

Занимая 521 кв.м., Summit может заполнить два теннисных корта.

Summit использует почти 300 км оптики –это примерно 8.5 «кругов» по ТТК

Более 18 тонн воды прокачивается через систему охлаждения Summit каждую минуту.

Для некоторых приложений ИИ, исследователи могут использовать менее точные вычисления, чем flops, потенциально увеличивая производительность Summit до уровня exascale, или более миллиарда миллиардов вычислений в секунду.


Summit заменяет Titan в роли ведущего суперкомпьютера

• Намного меньше узлов

• Узлы намного мощнее

• Намного больше памяти в узлах и обший объем памяти системы

• Более быстрый

интерконнект

• Намного выше полоса пропускания CPU➔ GPU

• Намного больше и быстрее файловая система

Feature Titan Summit

Application Performance Baseline 5-10x Titan

Number of Nodes 18,688 4,608

Node performance 1.4 TF 42 TF

Memory per Node 32 GB DDR3 + 6 GB GDDR5 512 GB DDR4 + 96 GB HBM2

NV memory per Node 0 1600 GB

Total System Memory 710 TB >10 PB DDR4 + HBM2 + Non-volatile

System Interconnect Gemini (6.4 GB/s) Dual Rail EDR-IB (25 GB/s)

Interconnect Topology 3D Torus Non-blocking Fat Tree

Bi-Section Bandwidth 15.6 TB/s 115.2 TB/s

Processors1 AMD Opteron™

1 NVIDIA Kepler™

2 IBM POWER9™

6 NVIDIA Volta™

File System 32 PB, 1 TB/s, Lustre® 250 PB, 2.5 TB/s, GPFS™

Power Consumption 9 MW 13 MW

12

Application firsts

• 1988: 1st gigaflops

– Finite elements on Cray Y-MP

• 1998: 1st teraflops

– Magnetic materials (LSMS) on Cray T3E

• 2008: 1st petaflops

– Disorder in superconducting materials (DCA++) on Cray XT5 Jaguar

• 2018: 1st ExaOps

– Genomics (CoMet) on IBM AC922 Summit

Simulation

QMCPACK

• Accurate quantum mechanics-based simulation of materials, including high-temperature superconductors

• First-of-a-kind studies of properties of complex oxide materials

• Runs on Summitwith 25 speed-up on GPUs over CPUs only, and >97% parallel scalability

• 12 faster on Summit than on Titan

Artificial intelligence

MENNDL

• Designs deep learning networks for image-based data sets, going beyond what human experts would design

• Enables a goal of nanotechnology: Atom-by-atom material fabrication

• Scaled to 3,000 available nodesof Summit, achieving98.6 petaflops (FP32)

ORNL: Delivering sustained leadership in HPC

Data analytics

CoMet

• Coevolutionary relationships across a population of genomesat scale

• Enables discovery of epistatic relationships

• 1.88 ExaOps achieved on 4,000 Summit nodes in mixed precision

– 25 faster than same method running on Titan

– 10,000 faster than best comparable state of the art


QMCPACK: Анализ материалов на атомном уровне

Paul KentORNL

"Большое количество памяти на узел в SUMMIT очень важно для увеличения диапазона сложности материалов и физических явлений. Кроме того, гораздо более мощные узлы действительно помогут нам расширить спектр наших исследований"


Создание систем для изучения людей, как организмов

Daniel Jacobson

ORNL

“Сложность биологической

системы невероятна. Summit

позволяет исследовать новую

область науки, которая была

невозможна до его появления .”

15

TiRFs

DNNs

CoMeT

• Modified CCC algorithm uses NVIDIA Volta Tensor Cores and cuBLASto compute counts of bit values

– Speed: 4.5 previous highly optimized bitwise algorithm, 25 faster than Titan

– >10,000 faster than competing codes

• Near-perfect scaling to 4000 nodes:1.88 ExaOps achieved

– W. Joubert et al., Parallel Comput., accepted

Exploiting new technology Scaling to Summit New discoveries enabled

• Coevolutionary relationships across a populationof genomes at unprecedented scale

• Epistatic interactions for opioid addiction (Gordon Bell Prize submission)

CoMet: First-ever exascale scientific application on Summit

1,000–600,000genomes

Phenotypes

3D protein structure

Protein complexes

Experimentation

GWASnetworks

Small molecule structures

Coevolution networks

Existing structures

Gene sequences

2.0E+18

1.5E+18

1.0E+18

5.0E+17

0.0E+00

1 ExaOps

0 1000 2000 3000 4000 5000

Nodes


Развитие здравоохранения с большими данными

Georgia Tourassi

ORNL

“По сути, мы обучаем компьютеры читатьдокументы и абстрактную информацию,используя большие объемы данных.Summit позволяет нам исследовать гораздоболее сложные модели наиболееэфективным способом.”


What makes Summit the most powerful and smartestsupercomputer for science?

GPU Brawn: Summit links more than 27,000 deep-learning optimized NVIDIA GPUs with the potential to deliver exascale-level performance (a billion-billion calculations per second) for AI applications.

Memory Where it Matters: Summit’s

sizable memory gives researchers a

convenient launching point for data-

intensive tasks, an asset that allows for

greatly improved application performance

and algorithmic accuracy as well as AI

training.

High-speed Data Movement: High

speed Mellanox interconnect and NVLink

high-bandwidth technology built into all of

Summit’s processors supply the next-

generation information superhighways.

CPU Muscle: IBM Power9 processors to

rapidly execute serial code, run storage

and I/O services, and manage data so

the compute is done in the right place.


Система ORNL Summit

Водяное охлаждение



Накладные 480v и оптические кабели

Оптические кабели Mellanox IB



Инсталляция файловой системы

самый умный в мире суперкомпьютер - miptсамый умный в...

Documents