bgp архитектура
TRANSCRIPT
IBM Blue Gene
27.10.2009
Архитектура и программное обеспечение массивно-параллельной системы IBM Blue Gene/P
Попова Н.Н., доцент, ВМК МГУФедулова И., инженер-программист, IBM RSTL, выпускница ВМиК МГУ
ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
Молодежная школа «Суперкомпьютерные технологии в науке, промышленности и образовании»
IBM Blue Gene
История проекта Blue Gene Совместный проект
– IBM
– Lawrence Livermore National Laboratory
– United States Department of Energy
– Академические институты Blue Gene/L
– Начинался как массивно-параллельный компьютер для изучения фолдинга белков
– Первый прототип был собран в 2004 г.
– занял первую строчку в Top 500 с производительностью в 70.72 Тфлоп/с
– 2-х ядерный чип Blue Gene/P
– Продолжение линейки Blue Gene
– Увеличена частота процессора и объем памяти
– 4-х ядерный чип
– Самая большая система на основе Blue Gene/P установлена в Германии (JUGENE)
– 1 Пфлоп/с пиковая, 825 Тфлоп/с реальная Blue Gene/Q
– Ожидается в 2011 году, производительность ~20 Пфлоп/с
– 8-ядерный чип2 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31
октября 2009 г.
IBM Blue Gene
Основные характеристики системы Производительность
Масштабируемость
Эффективное энергопотребление
Компактность
Надежность
Простота программирования
3 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
“Обязательный слайд” Картинка с масштабируемостью
4 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
5 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
6 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
7 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
8 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
9 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
Характеристики вычислительного узла 4 ядерный 32-битный процессор PowerPC
850 Мгц– Двойное устройство для работы с числами с
плавающей запятой двойной точности
– 2 Гб памяти
– Работает под управлением облегченной ОС
– Создание процессов и управление ими– Управление памятью– Отладка процессов– Ввод-вывод
– Объем виртуальной памяти равен объему физической
– 3 режима использования ядер
– SMP: 1 MPI процесс из 4 SMP нитей, 2 Гб памяти– DUAL: 2 MPI процесса по 2 SMP нити, 1 Гб памяти
на MPI процесс– VNM: 4 MPI процесс
10 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
11 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
3-мерный тор– Виртуальная аппаратная маршрутизация без буферизации
– 3.4 Гбит/с на всех 12 портах (5.1 ГБ/с на узле)
– Аппаратные задержки: 0.5 мс между соседними узлами, 5 мс между самыми далекими
– Задержки MPI: 3мс между соседними узлами, 10 мс между самыми далекими
– Основная коммуникационная сеть
–Используется в том числе для многих коллективных операций
Коллективная сеть – дерево– Для глобальной коммуникации один-ко-всем (broadcast,
reduction)
– 6.8 ГБ/с на порт
– Задержка на один проход дерева: аппаратная 1.3 мс, MPI 5 мс
– Соединяет все вычислительные узлы и узлы ввода-вывода
– Используется для коллективных операций и коммуникатора MPI_COMM_WORLD
Высокоскоростная сеть для глобальных прерываний
– Задержка на оповещение всех узлов: аппаратная 0.65 мс, MPI 5 мс
– Для MPI_Barrier12 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31
октября 2009 г.
IBM Blue Gene
Система памяти
13 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
SIMD инструкции могут выполняться одновременно на двух FPU
Параллельные операции load/store Данные должны быть выровнены по 16-
байтовой границе– Иначе производительность будет значительно
снижена
– Даже хуже, чем при использовании только одного FPU
Компилятор сможет сгенерировать SIMD инструкции, только если данные в памяти расположены подряд (stride-one access)
– Хотя при более высоких (-O4, -O5) уровнях оптимизации компилятор попытается сгенерировать SIMD инструкции и для данных, расположенных не подряд
– -O3 –qarch=450d –qtune=450
Double Hammer FPU
14 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
Узлы ввода-вывода Используются для связи вычислительных узлов с файловой системой
В целом точно такие же, как и вычислительные узлы, но есть отличия:
– Установлена полноценная ОС
– Отсутствует подключение к сети-тору
– Имеется подключение к 10 Гб сети Ethernet
15 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
16 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
IBM Blue Gene/P на ВМК 2 стойки по 1024 4-ядерных процессора
– Общий объем ОЗУ: 4Тб
– Пиковая производительность: 27.2 Тфлоп/с
– Реальная производительность по тесту Linpack:
23.2 Тфлоп/с
– 85% от пиковой
17 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
ВСТАВИТЬ ТЕКСТ
18 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue Gene
Примеры программных пакетов, установленных на Blue Gene
Computational Materials Science and Nanoscience– Electronic structure, First Principles : Qbox, LSMS, QMC– (mat) Molecular dynamics : CPMD, LJMD, ddcMD, MDCASK– Other materials : ParaDIS
Nuclear Energy Systems– Reactor core design and analysis ⇒ NEK5, UNIC– Neutronics, Materials, Chemistry ⇒ QMC, Sweep3D,
GAMESS
Computational Biology/Bioinformatics– (bio) Molecular dynamics ⇒ NAMD, Amber7/8, BlueMatter– Drug Screening ⇒ DOCK5, Autodock– Genome-analysis ⇒ mpiBLAST, mrBayes, CLUSTALW-mpi
Computational Physics and Hydrodynamics– Nuclear Theory : GFMC– Quantum chromo dynamics : QCD, MILC, CPS– Astrophysics/Cosmology : FLASH, ENZO– Multi-Physics/CFD ⇒ ALE3D, NEK5, Miranda, SAGE
19 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.
IBM Blue GeneОбзор алгоритмов и методов, реализованных на Blue GeneМатериаловедение и нанонауки, ядерная энергетика, биоинформатика, вычислительная физика, гидродинамика (© - IBM)
20 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.