II Всероссийская научно-практической конференции с международнымучастием с элементами научной школы для молодежи

«Высокопроизводительные вычисления на графических процессорах»(Пермь, ПГНИУ, 2-6 июня 2014 г.)

Деменев Алексей Геннадьевич, доц., к.ф.-м.н., директорНаучно-образовательного центра «Параллельные ираспределённые вычисления», доцент кафедры прикладнойматематики и информатики механико-математическогофакультета ПГНИУ

РАЗВИТИЕ И ПРИМЕНЕНИЕВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СЕРВИСОВ НАБАЗЕ СУПЕРКОМПЬЮТЕРОВ ПЕРМСКОГОГОСУДАРСТВЕННОГО НАЦИОНАЛЬНОГОИССЛЕДОВАТЕЛЬСКОГО УНИВЕРСИТЕТА

Пленарный доклад

АктуальностьМультиядерные и многоядерные

центральные процессоры (CPU)содержат от нескольких до десятковвычислительных ядер.

Многоядерные графическиепроцессоры общего назначения(GPGPU) содержат от сотни донескольких тысяч потоковых ядер.

Объединяют высокоскоростнымиканалами связи

• компьютеры внутри лаборатории →вычислительные кластеры;

• вычислительные кластеры разныхлабораторий → грид-сети.

Суперкомпьютеры - вычислительныесистемы из списков TOP500 мира иTOP50 СНГ по производительности.

АктуальностьСовременный компьютерный мир уже

массово стал «параллельным» и«распределенным»

Поэтому требуются специалисты,компетентные в области технологийпараллельных и распределенныхвычислений.

Современные наука и техника не могутобойтись без применениясуперкомпьютеров.

Поэтому требуются «элитные»специалисты, компетентные в областисуперкомпьютерных технологий.

Ведущие университеты России должнысоздать научно-образовательную средудля подготовки таких специалистов.

Суперкомпьютерные технологии,в т.ч.облачные

Технологии параллельных ираспределенных вычислений

Информационные икоммуникационные

технологии

Требуемые компетенции

• формулировать математическуюпостановку задачи и выбиратьчисленный метод так, чтобы былбольшой потенциал дляраспараллеливания вычислений;

• выбирать соответствующий иликонструировать новый алгоритмтакой, чтобы он допускалэффективную реализацию намногоядерных вычислительныхсистемах;

• свободно владеть современнымитехнологиями разработкипараллельных и распределенныхпрограмм.

Научно-образовательный центр «Параллельные ираспределённые вычисления» (2009). Цели

• обеспечение высокого уровня подготовки, переподготовки иповышения квалификации специалистов, в том числе высшейквалификации, по приоритетным и перспективным направлениямнауки и технологий, используя новейшие результатыисследований и разработок в области параллельных ираспределенных вычислений;

• повышение эффективности научных исследований иинновационной деятельности путем объединения усилий иресурсов с Партнерами (ВУЗами, институтами, предприятиями).

Образовательные инновации вПГНИУОсобенности инновационных учебных курсов:• самостоятельная работа студентов предусматривает использование

средств систем дистанционного обучения, а также активноеиспользование Интернет-ресурсов в качестве источника информации;

• лабораторный практикум предусматривает проведениемикроисследований в составе команды из двух-трех студентов.

Использование ресурсов Партнеров:• членов Суперкомпьютерного консорциума университетов России;• членов Национальной Суперкомпьютерной Технологической

Платформы;• участников инновационной программы «Университетский кластер»;• участников академических программ, инициируемых компьютерными

компаниями (IBM, Intel, HP, Nvidia и др.)

Суперкомпьютерный консорциум университетов России

ПГНИУ – постоянный член СКУР;СКУР – исполнитель президентского проекта “Создание системы

подготовки высококвалифицированных кадров в областисуперкомпьютерных технологий и специализированного ПО”.

http://hpc-russia.ruhttp://hpc-education.ru

Инфраструктура программы «Университетскийкластер» Сайт Программы:

• http://unicluster.ru• Ресурсы• Вычислительные кластеры,• системы хранения данных,• системы визуализации,• иные технические средства.Каналы связи объединяют

Ресурсы в единуюраспределеннуювычислительнуюинфраструктуру.

Технологическая платформаUniHUB.ru:

• http://unihub.ru

Научно-образовательные комплексы ПГНИУ

Программа развития ПГНИУ реализуется в рамках 4 научно-образовательных комплексов:•«Технологии изучения, освоения, прогнозирования и управлениягеоресурсами и геосистемами» (НОК1),•«Моделирование и управление физическими и химическими процессами,развитие технологий» (НОК2),•«Наукоёмкие технологии управления живыми системами» (НОК3),•«Прогнозирование и управление процессами социально-экономическогоразвития стран и территорий на основе современных информационныхтехнологий» (НОК4).Новые высокопроизводительные сервисы создаются по проекту«Развитие центра коллективного пользования высокопроизводительнымивычислительными ресурсами – НОЦ ПиРВ» (руководитель Деменев А.Г.) врамках НОК2

Центр коллективного пользования высокопроизводительнымивычислительными ресурсами ПГНИУМиссия ЦКП ВВР - устранение барьеров, которые затрудняютисследователям и разработчикам доступ к суперкомпьютерным ресурсам.Барьеры –•высокая стоимость суперкомпьютерного оборудования испециализированного ПО,•дефицит специалистов, способных качественно выполнить сложныерасчеты.Коллектив ЦКП ВВР:•помогает более эффективно управлять существующимисуперкомпьютерными ресурсами•предоставляет вычислительные мощности и ПО в пользование;•выполняет расчеты силами собственных экспертов.Ожидания увеличения конкурентоспособности заказчиков:•новые продукты (товары, услуги);•существенное повышение скорости внедрения инноваций;•кардинальное снижение издержек.

Суперкомпьютеры ПГНИУПозволяют решать:• научные или инженерные задачи с

широкой областью применения,эффективное решение которыхвозможно только с использованиеммощных вычислительных ресурсов;

• проблему подготовки специалистов,обладающих компетенциямиэффективно решать задачи вприоритетных направлениях науки итехники, а также развиватькритические и прорывныетехнологии.

ПГНИУ в суперкомпьютерном ТОП50стран СНГ (Март, 2011)

МВК с гибридной архитектурой (декабрь 2010)

• до 240 задач на вычислительных ядрахCPU Intel Xeon 5670,

• до 5376 подзадач на вычислительныхядрах GPGPU Nvidia Tesla S2050;

• высокоскоростная сеть QDR Infinibandпозволяет в 40 раз быстрееобмениваться информацией междузадачами, чем обычная сеть GigabitEthernet;

• 9,0 Терафлопс – пиковая (наоперациях с вещественными числамидвойной точности);

• 4,9 Терафлопс – на тесте Linpack(большие задачи линейной алгебры);

• суммарный объем оперативной памятивычислительных узлов – 960 ГбDDR3+36 Гб GDDR5;

• система хранения данных – 20Терабайт.

ПГНИУ в суперкомпьютерном ТОП50стран СНГ (Март, 2014)

МВК с гибридной архитектурой (декабрь 2012)

Вычислительный кластер IBM• до 128 задач на вычислительных ядрах CPU Intel

Xeon E5-2680,• до 40 тыс. подзадач на вычислительных ядрах

GPGPU Nvidia Tesla K20;• высокоскоростная сеть FDR10 Infiniband позволяет

в 40 раз быстрее обмениваться информациеймежду задачами, чем обычная сеть GigabitEthernet;

• 21,5 Терафлопс – пиковая (на операциях свещественными числами двойной точности);

• 17,5 Терафлопс – на тесте Linpack (большиезадачи линейной алгебры);

• суммарный объем оперативной памятивычислительных узлов – 512 Гб DDR3+80 ГбGDDR5;

• подсистема хранения данных – параллельнаяфайловая система GPFS, доступно 30 Тбайт.

Задачи для суперкомпьютеровПГНИУИсследователи университета решают научно-технические

задачи:• разработка вычислительных и информационных технологий, в

том числе суперкомпьютерных и грид-технологий;• математическое моделирование и обработка данных

лабораторных экспериментов в области области био- инанотехнологий, нелинейной физики, механики, математики,информатики, химии, наук о Земле и других;

• оптимизация конфигураций инженерно-технических сооруженийи установок, а также соответствующих технологическихпроцессов.

Пример решения гидродинамических 3D-задачна суперкомпьютере «ПГУ-Тесла»

Температура и скорость в ячейке Хеле – Шоу с размерами 40:20:2 вразличные моменты времениРис. а – развитие «пальчиковой» неустойчивости,Рис. б – этап формирования конвективных структур.Источник: К.А. Гаврилов, В.А. Демин «ОБ ИСПОЛЬЗОВАНИИПАКЕТА OPENFOAM ДЛЯ МОДЕЛИРОВАНИЯ КОНВЕКТИВНЫХТЕЧЕНИЙ В ЯЧЕЙКЕ ХЕЛЕ – ШОУ» (Отчет 2011 г.)

Пример решения задач прогноза погоды насуперкомпьютере «ПГУ-Тесла»

• Сетка 199 на 199узлов, шаг сетки 10 км,модель WRF-ARW.Ветров А.Л. , СвиязовЕ.М. «Поляметеорологическихвеличин полученныепо данным моделиWRF с помощьюсуперкомпьютера ПГУ-Тесла (Отчёт 2012)

Рис. Обложные осадки в мм 1 ноября 2012 г. прогноз на 6 часа вперед(показано цветом), поле давления в гПа – сплошные черные изолинии.

Пример решения задач теплообмена в рудникена суперкомпьютере «ПГУ-Тесла»

Устройство Время решения УскорениеIntel Dual-Core T4200 34 ч. 28 мин. 11 сек. ̶

Intel Xeon 5670 21 ч. 09 мин. 44 сек. 1.65x

Nvidia Tesla S2050 (OpenACC) 03 ч. 37 мин. 48 сек. 9.4xNvidia Tesla S2050 (CUDA C) 00 ч. 46 мин. 35 сек. 45х

Результатырешениязадачинестационар-ного процессасопряженноготеплообменамежду горныммассивом ирудничнымвоздухом.Куцев А.В.,Русаков С.В.(Отчет 2012)

Пример решения задач магнитодинамики насуперкомпьютере «ПГНИУ-Кеплер»

Деменев А.Г., Белозёрова Т.С., Поляков А.В., Харебов П.В.,Хеннер В.К., Хеннер Е.К. (Отчет 2013)

Облачные сервисы НОЦ ПиРВ ПГУSaaS• на базе открытых пакетов OpenFOAM, Salome, Paraview;• возможность решения задач механики сплошной среды;• визуализации больших объемов научных данных;• инструмент построения сложных расчетных сеток.PaaS• на базе ОС Linux (CentOS, Ubuntu, Open Suse);• средства разработки параллельного ПО;• возможность создания собственного ПО и участие в проектах Open

Source.IaaS• на базе Xen Cloud Platform 1.6;• возможность создания системного ПО и участие в проектах Open Source

по созданию ОС.

Облачные сервисы НОЦ ПиРВ ПГУHPCaaS ПГУ-Тесла• на базе менеджера ресурсов Torque и системы мониторинга

Ganglia;• возможность решения задач высокой вычислительной сложности

на программном обеспечении, распространяемом как OpenSource без лицензионных отчислений.

HPCaaS ПГНИУ-Кеплер• на базе IBM Platform HPС - полном комплекте компонентов для

управления кластерами - от предоставления кластеров,мониторинга и управления ими до управления рабочей нагрузкойи создания отчетов.C;

• возможность решения задач высокой вычислительной сложностина проприетарном программном обеспечении, требующемлицензионных отчислений для коммерческого использования.

Услуги НОЦ ПиРВНОЦ ПиРВ готов оказывать различные услуги, в том числе:• предоставление вычислительных ресурсов для математического

моделирования, вычислительного эксперимента, обработкиинформации в научно-образовательных и инновационных целях;

• производственная, эксплуатационная деятельность попрограммному обеспечению функционированиювысокопроизводительных ресурсов университета.

В числе потенциальных пользователей услуг НОЦ ПиРВвысокотехнологичные предприятия, реализующиеинновационные программы развития и входящие в:

• национальную суперкомпьютерную технологическую платформу;• инновационных территориальных кластеров Пермского края;• пояс ПГНИУ из малых инновационных предприятий.

Список прочностных тестовых задач ОАО«Авиадвигатель»

N наименова­ние

приблизи­тельныйразмер

сеточноймодели

приблизитель­ный размер на

диске, Мбтип реша­

тель

1Рабочая

лопатка ПС-12

163671 узлов;567317

элементов 351 Расчет напрочность ANSYS

2Корпус

вентилятораПС-90А2

1094876узлов; 984493

элементов136

Расчетпробиваемо­сти корпуса

LS-DYNA

Газодинамические тестовые задачи ОАО«Авиадвигатель»

N наименова­ние

размерсеточноймодели

размер надиске, Мб тип

ре-ша­тель

1 СоплоBoeing

5 млнэлементов 660 газодинамический

нестационарный Fluent

2Вентилятор-ная ступень

ПС-904.5 млн узлов 2000

газодинамическийнестационарный

ротор-статорCFX

3Камера

сгорания ПС-90

5 млн.элементов (1млн. узлов)

110газодинамическийстационарный с

горениемCFX

4 Сопло Д30 30 млнэлементов 3800 газодинамический

нестационарный Fluent

5Подпорнаяступень ПС-

9018 млн узлов 8900

газодинамическийнестационарный

ротор-статорCFX

Пример решения прочностных задач ОАО«Авиадвигатель» на суперкомпьютере «ПГУ-Тесла»

«О реализациисовместного плана работ ипо оценке эффективностииспользованиясуперкомпьютера «ПГУ-Тесла» для решения задачОАО «Авиадвигатель»(Отчёт 2011г.)

Пример решения задач литья ОАО «ПМЗ» насуперкомпьютере «ПГУ-Тесла»

Монокристальное литьё: заливка и кристаллизация блока плоскихобразцов. Число элементов: 1226426; число узлов: 276053.Распределение температур:Рис. а – в отливке,Рис. б – в печи, форме и отливке«О тестировании эффективности суперкомпьютера «ПГУ-ТЕСЛА»в пакете ProCAST» (Отчет 2011 г.)

Пример разработки газодинамического решателя дляОАО «Авиадвигатель» на суперкомпьютере «ПГУ-Тесла»

С применением суперкомпьютерных технологий, в частности –графических процессоров, удалось создать пакет, способный решать (впервом приближении) инженерные газодинамические задачи,связанные с улучшением экологических характеристик авиационногодвигателя.Коромыслов Е.В., Гомзиков Л.Ю., Синер А.А., Усанин М.В.«РАЗРАБОТКА И ОТЛАДКА ГАЗОДИНАМИЧЕСКОГО РЕШАТЕЛЯДЛЯ ИНЖЕНЕРНЫХ ЗАДАЧ - GHOST CFD.» (Отчет 2012 г.)

ЗаключениеПГНИУ выпускает специалистов с высоким уровнем компетентностей в

области параллельных и распределённых вычислений, в т.ч.суперкомпьютерных и «облачных».

Создание в 2009 г. Научно-образовательного центра «Параллельные ираспределенные вычисления» университета нацелено на обеспечениееще более высокого уровня выпускников в этой области.

При реализации своих проектов ПГНИУ может опираться на ресурсы,компетенции и помощь своих партнеров.

Проект «Развитие центра коллективного пользованиявысокопроизводительных вычислительных ресурсов – НОЦ ПиРВ»Пермского государственного национального исследовательскогоуниверситета создает:высокопроизводительные ресурсы и сервисы на базесуперкомпьютерных комплексов;коллектив исследователей и разработчиков, способных обеспечиватьвыполнение комплексных междисциплинарных проектов, эффективноиспользуя суперкомпьютеры.

Надеюсь на плодотворное и взаимовыгодноесотрудничество!

Пермский государственныйнациональный исследовательскийуниверситет: [сайт].

URL: http://www.psu.ru/

Деменев Алексей Геннадьевич• Тел. (342)2396409• Факс (342)2396584E-mail: A-demenev@psu.ruhttp://Demenev.livejournal.com