Системное программное обеспечение суперкомпьютеров...
DESCRIPTION
Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS. Абрамов С. М. Научная сессия ОИТВС Москва, ИПУ РАН, 2006-04-20. Научные интересы — в области системного программирования:. Что войдет в доклад. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/1.jpg)
11
Институт программных систем Российской академии наук
Системное программное Системное программное обеспечение обеспечение
суперкомпьютеров суперкомпьютеров «СКИФ» и система «СКИФ» и система программирования программирования
OpenTSOpenTSАбрамов С. М.Абрамов С. М.
Научная сессия ОИТВСНаучная сессия ОИТВСМосква, ИПУ РАН, 2006-04-20Москва, ИПУ РАН, 2006-04-20
![Page 2: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/2.jpg)
22
ССистема программирования истема программирования OpenTSOpenTSНаучные интересы — в области Научные интересы — в области
системного программирования:системного программирования: Программное обеспечение для региональных Программное обеспечение для региональных
компьютерных сетейкомпьютерных сетей Nadmin: Nadmin: система администрированиясистема администрирования Botik ToolsBotik Tools: пакет программ для абонентов (: пакет программ для абонентов (Botik Tester, Botik Tester,
Botik Key, Botik LookBotik Key, Botik Look)) BotikBotik Mon Mon и и BotikBotik Map Map — мониторинг и спец. ГИС— мониторинг и спец. ГИС
Метавычисления и их приложенияМетавычисления и их приложения функциональное программирование и реализация языка функциональное программирование и реализация языка
рефал (различных диалектов и на различных рефал (различных диалектов и на различных платформах)платформах)
теоретические основы информатикитеоретические основы информатики Системное программное обеспечение для Системное программное обеспечение для
параллельных архитектур (для суперкомпьютеров параллельных архитектур (для суперкомпьютеров семейства «СКИФ»)семейства «СКИФ»)
Т-Система — система программирования параллельных Т-Система — система программирования параллельных приложенийприложений
OpenTSOpenTS — Т-система с открытой архитектурой — Т-система с открытой архитектурой
Что войдет в докладЧто войдет в доклад
![Page 3: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/3.jpg)
33
Институт программных систем Российской академии наук
Суперкомпьютерная Суперкомпьютерная программа «СКИФ» Союзного программа «СКИФ» Союзного
государства.государства.
Системное программное Системное программное обеспечение для обеспечение для
суперкомпьютеров «СКИФ»суперкомпьютеров «СКИФ»
![Page 4: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/4.jpg)
44
ССистема программирования истема программирования OpenTSOpenTSСуперкомпьютерный Суперкомпьютерный
проект СКИФ Союзного проект СКИФ Союзного государствагосударства 2000-2004 2000-2004
10 + 10 10 + 10 исполнителейисполнителей $10M ($10M (на 5 лет на 20 предприятий)на 5 лет на 20 предприятий) ИПС РАН — головной по РоссииИПС РАН — головной по России ОИПИ НАН Беларуси – головной по ОИПИ НАН Беларуси – головной по
БелоруссииБелоруссии HardwareHardware, , SoftwareSoftware, , Applications, Aux.Applications, Aux.
![Page 5: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/5.jpg)
55
ССистема программирования истема программирования OpenTSOpenTSВыпуск образцов Выпуск образцов
(16)(16)
2000 2001 2002 2003 2004
“ВМ -5100”48/26G
16-2UIntel P-IV-1500
“M yrin”89/59G
8-1UIntel Xeon 2.8
“К-500”717/415G
64-1UIntel Xeon 2.8
“К-1000”2534/2030G
288-1U ; IB 4x; AM DO pteron 248(2.2)
“ТКС”403/230G
36-1UIntel Xeon 2.8
“Кардиология”9/5 G
3+1-1U +4UIntel P-IV-1266
“Первенец”20/11G
16-3U;Inte l P-III-600
“С тудент”11/6G
9-M iniTowerInte l P-III-600
“Первенец-M ”98/57G
16-3U ; AM DAthlonM P1800+
НИ И мех М ГУ49/28G
4+4-4U +5U ; AM DAthlonM P1800+
“T-Forge32”115/74G
16-2U; AM DOpteron 224(1.8)
“T-Forge48”230/184G
24-1U; IB 4x; AM DOpteron (2 .4)
“T-Bridge8i”45/37G
4-1U; IB 4x Inte l Itanium 2 (1.4)
“T-Forge20HB”88/70G
10-HB; IB 4x; AMDOpteron 248(2.2)
“Гибрид”2.4/1.2G2-4U +6U;
Intel P-III-800
“Первенец”20/11G
16-3U;Inte l P-III-600
![Page 6: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/6.jpg)
66
ССистема программирования истема программирования OpenTSOpenTSLinpack-Linpack-производительность производительность
образцовобразцов
Перве-нец
ВМ5100
Кардио-логия
Перве-нец-М
Гиб-рид
НИИмех.МГУ
Сту-дент Myrin
T-Forge
32
T-Forge20HB
T-Forge
48
T-Bridge
8i
СКИФК-500
СКИФК-1000
ТКС ЕС1710.03
2000 2001 2002 2003 2004
2001 2002 2003 2004G Flops
20001000
100
10
1
11
57
472
2032
26
185 раз
![Page 7: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/7.jpg)
77
ССистема программирования истема программирования OpenTSOpenTSФлагман:Флагман: «СКИФ К-1000»«СКИФ К-1000»
Пиковая производи-Пиковая производи-тельность:тельность: 2 2,,5 5 TflopsTflops
Linpack-Linpack-производи-производи-тельность:тельность: 2 2,0,0 TflopsTflops
КПДКПД=80=80..1 %1 %
Ноябрь 2004Ноябрь 2004: : Наиболее мощная Наиболее мощная машина на территории СССР машина на территории СССР (сегодня: второе место 2)(сегодня: второе место 2)
Ноябрь 2004Ноябрь 2004: : № № 98 98 в в Top500Top500
![Page 8: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/8.jpg)
88
ССистема программирования истема программирования OpenTSOpenTSКомплект ПО КУ, литера Комплект ПО КУ, литера
«О«О11» » ядро ОС ядро ОС Linux-SKIFLinux-SKIF PVFS-SKIFPVFS-SKIF — параллельная — параллельная
файловая системафайловая система OpenPBS-SKIFOpenPBS-SKIF — система — система
очередейочередей FLAME-SKIFFLAME-SKIF — система — система
мониторинга и управления мониторинга и управления ((reset, power on/off)reset, power on/off) установками семейства установками семейства «СКИФ»«СКИФ»
![Page 9: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/9.jpg)
99
ССистема программирования истема программирования OpenTSOpenTSКомплект ПО КУ, литера Комплект ПО КУ, литера
«О«О11» » OpenTSOpenTS — Т-система с — Т-система с
открытой архитектуройоткрытой архитектурой компилятор TG++ для компилятор TG++ для
языка T++языка T++ транслятор TF2TCтранслятор TF2TC
((T-FortranT-Fortran T++T++)) TDBTDB — распределенный — распределенный
интерактивный отладчик интерактивный отладчик MPI-программ, с MPI-программ, с поддержкой отладки Т-поддержкой отладки Т-программ программ ((замена замена TotalView)TotalView)
![Page 10: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/10.jpg)
1010
ССистема программирования истема программирования OpenTSOpenTSКомплект ПО КУ, литера Комплект ПО КУ, литера
«О«О11» » 66 прикладных программных прикладных программных
систем в среде систем в среде OpenTSOpenTS 1212 адаптированных адаптированных
свободных пакетов, свободных пакетов, библиотек и приложенийбиблиотек и приложений
1414 приложений приложений собственной разработки (из собственной разработки (из них них 33 в области ИИ) в области ИИ)
СовместимостьСовместимость платформы платформы с коммерческими с коммерческими инженерными пакетами инженерными пакетами (более (более 66 отраслей реальных отраслей реальных применений)применений)
![Page 11: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/11.jpg)
1111
Институт программных систем Российской академии наук
Основные идеи Т-Системы Основные идеи Т-Системы и обзор архитектуры и обзор архитектуры Open Open
TSTS
![Page 12: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/12.jpg)
1212
ССистема программирования истема программирования OpenTSOpenTSТ-Система. ИсторияТ-Система. История
Середина 80-ыхСередина 80-ыхОсновные идеи Т-СистемыОсновные идеи Т-Системы
1990-ые1990-ыеПервая реализация Т-СистемыПервая реализация Т-Системы
2000-20022000-2002, , Программа «СКИФ»Программа «СКИФ» GRACE — Graph Reduction Applied to GRACE — Graph Reduction Applied to Cluster Environment Cluster Environment
2003-2003-сегоднясегодня, , Программа «СКИФ»Программа «СКИФ»Open TS — Open T-systemOpen TS — Open T-system (открытая (открытая архитектура)архитектура)
![Page 13: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/13.jpg)
1313
ССистема программирования истема программирования OpenTSOpenTSСравнение:Сравнение: Т-Система и Т-Система и
MPIMPIC/Fortran T-System
Assembler MPI
High-levelнесколько
ключевых слов(понятий)
Low-levelсотни
примитивов
Sequential Parallel
![Page 14: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/14.jpg)
1414
ССистема программирования истема программирования OpenTSOpenTSOpen TS: Open TS: основные основные
свойствасвойства Автоматическое динамическое Автоматическое динамическое
распараллеливание программраспараллеливание программ Много платформ — один инструментМного платформ — один инструмент
разные ОС, разные ОС, multicore, SMP, multicore, SMP, кластеры, кластеры, GRIDGRID Сочетание парадигм: функциональной Сочетание парадигм: функциональной
и императивнойи императивной ( (ООПООП)) Высокоуровневое программирование: Высокоуровневое программирование:
Т++ язык — «диалект» Т++ язык — «диалект» C++C++незабытое старое: популярно с незабытое старое: популярно с 90-90-ыхых
![Page 15: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/15.jpg)
1515
ССистема программирования истема программирования OpenTSOpenTSТ++Т++ новые ключевые словановые ключевые слова
tfuntfun —— Т-функцияТ-функция tvaltval—— Т-переменная (Т-значение)Т-переменная (Т-значение) tptrtptr—— Т-указательТ-указатель touttout —— Выходной параметрВыходной параметр ( (аналог аналог
&)&) tdroptdrop —— Разорвать связь поставщик-Разорвать связь поставщик-
потребитель (сделать готовым) потребитель (сделать готовым) twaittwait —— Редкое: ждать готовностиРедкое: ждать готовности tcttct —— Т-контекстТ-контекст
![Page 16: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/16.jpg)
1616
ССистема программирования истема программирования OpenTSOpenTSТ-ПодходТ-Подход
«Чистые» функции«Чистые» функции (tfunc) (tfunc) — их вызовы — их вызовы способны порождать гранулы параллелизмаспособны порождать гранулы параллелизма
Т-Программы:Т-Программы: ФункциональныФункциональны – – на верхнем уровнена верхнем уровне Императивны Императивны – – на нижнем уровнена нижнем уровне (C/C++/ASM (C/C++/ASM
оптимизацииоптимизации)) C-C-совместимая модель исполнениясовместимая модель исполнения Неготовые значенияНеготовые значения, , многократные многократные
присваиванияприсваивания Гладкие расширения языков:Гладкие расширения языков: C C, , FortranFortran, ,
рефалрефал
![Page 17: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/17.jpg)
1717
ССистема программирования истема программирования OpenTSOpenTSOpen TSOpen TS: полноценная : полноценная
система программированиясистема программирования Средства разработкиСредства разработки
T++ T++ Компилятор (входной модуль Компилятор (входной модуль gcc)gcc) T++ T++ C++ C++ конверторконвертор компиляторы для других языковкомпиляторы для других языков
Средства отладки и трассировки Средства отладки и трассировки ((TGDB, tracing)TGDB, tracing)
Микроядро Т-системы и библиотека Микроядро Т-системы и библиотека поддержки времени исполнения поддержки времени исполнения
![Page 18: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/18.jpg)
1818
ССистема программирования истема программирования OpenTSOpenTSМногопоточность и Многопоточность и
коммуникациикоммуникации Легковесные потоки (Легковесные потоки (lightweight lightweight
threads)threads):: раскрепощение программиста раскрепощение программиста Пример программы: +Пример программы: +1 000 000 1 000 000 потоков на потоков на
процессорпроцессор Асинхронные Асинхронные взаимодействиявзаимодействия
Нити Нити AA требуется неготовое значениетребуется неготовое значение Передается асинхронный запрос (Передается асинхронный запрос (Active Active
messages & Signalsmessages & Signals), чтобы стимулировать ), чтобы стимулировать передачу данных к нити передачу данных к нити AA
Выделяется квант на коммуникации (нет ли Выделяется квант на коммуникации (нет ли чего в нашем процессоре?) и переход чего в нашем процессоре?) и переход ((context switchcontext switch)) на другую готовую нитьна другую готовую нить
Эффект сокрытия задержек (Эффект сокрытия задержек (Latency Latency Hiding)Hiding) в коммуникацияхв коммуникациях
![Page 19: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/19.jpg)
1919
ССистема программирования истема программирования OpenTSOpenTS DMPIDMPI
Dynamic MPIDynamic MPI автоматический подбор реализацииавтоматический подбор реализации MPI MPI динамическая загрузка и связываниединамическая загрузка и связывание
((dynamic loading and linkingdynamic loading and linking)) Семь реализаций Семь реализаций MPI MPI поддержаныподдержаны::
LAMLAM MPICHMPICH SCALI MPISCALI MPI MVAPICHMVAPICH IMPIIMPI MPICH-G2MPICH-G2 PACX-MPIPACX-MPI
Еще: Еще: PVMPVM и и TCP/IPTCP/IP могут быть могут быть использованы использованы DMPI DMPI в качестве транспорта в качестве транспорта вместо вместо MPIMPI
для территориально-распределенных установок (GRID)
![Page 20: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/20.jpg)
2020
Институт программных систем Российской академии наук
2005 — Сравнение2005 — Сравнение::Open TS vs MPIOpen TS vs MPI
![Page 21: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/21.jpg)
2121
ССистема программирования истема программирования OpenTSOpenTSЗаказчик: Заказчик: MicrosoftMicrosoft
2004: 2004: MicrosoftMicrosoft создал подразделение создал подразделение HPCHPC 2005: 2005: демонстрация намерений демонстрация намерений MicrosoftMicrosoft в в
области области HPCHPC Осень 2005: бета-версии Осень 2005: бета-версии Microsoft MPI Microsoft MPI и и
Microsoft Windows Computing Cluster ServerMicrosoft Windows Computing Cluster Server Осень 200Осень 20044:: знакомство знакомство Microsoft Microsoft с с OpenTSOpenTS 2005:2005: контракт контракт «Сравнение «Сравнение Open TS Open TS сс MPI MPI»» 2006:2006: контрактконтракт «Перенос «Перенос Open TSOpen TS на на
Microsoft Windows Computing Cluster ServerMicrosoft Windows Computing Cluster Server»»
![Page 22: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/22.jpg)
2222
ССистема программирования истема программирования OpenTSOpenTSПриложенияПриложения
Популярные и широкоПопулярные и широко используемыеиспользуемые Разработаны независимыми Разработаны независимыми MPIMPI--
эксперта-ми (без «связей» с Т-Системой)эксперта-ми (без «связей» с Т-Системой)
PovRayPovRay – Persistence of Vision Ray-tracer, – Persistence of Vision Ray-tracer, С-пакет С-пакет ++ C/MPI-patchC/MPI-patch
ALCMD/MP_liteALCMD/MP_lite – – молекулярная молекулярная динамика динамика (Ames Lab)(Ames Lab)Фортран-программаФортран-программа + MP_Lite/MPI + MP_Lite/MPI
![Page 23: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/23.jpg)
2323
ССистема программирования истема программирования OpenTSOpenTSКлючевой вопрос:Ключевой вопрос:
Позволяет ли Т-Система Позволяет ли Т-Система легко, удобнолегко, удобно создавать прикладные системы?создавать прикладные системы?
Экономится ли труд программиста?Экономится ли труд программиста? Действительно ли более читабельный и Действительно ли более читабельный и
более компактный код? (более компактный код? (less space for less space for bugs)bugs)
И при этом мы не сильно жертвуем И при этом мы не сильно жертвуем производительностью (до 30% от производительностью (до 30% от MPIMPI)?)?
![Page 24: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/24.jpg)
2424
ССистема программирования истема программирования OpenTSOpenTST-PovRay vs MPI PovRay: T-PovRay vs MPI PovRay:
сложность кодасложность кода
ПрограммаПрограмма Объем исходного Объем исходного кодакода
MPI MPI модуль длямодуль дляPovRay 3.10gPovRay 3.10g 1,500 1,500 строкстрокMPI MPI «заплатка» для «заплатка» для PovRay 3.50cPovRay 3.50c 3,000 3,000 строкстрокT++ T++ модульмодуль ( (для для двух версий двух версий 3.10g 3.10g ии 3.50c)3.50c)
200 200 строкстрок
![Page 25: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/25.jpg)
2525
ССистема программирования истема программирования OpenTSOpenTST-PovRay vs MPI PovRay: T-PovRay vs MPI PovRay:
производительностьпроизводительность
90%100%110%120%130%140%150%160%170%180%190%200%210%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Number of processors
Time MPI/Time OpenTS
16 dual Athlon 1800, AMD Athlon MP 1800+ RAM 1GB, FastEthernet, LAM 7.0.6
![Page 26: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/26.jpg)
2626
ССистема программирования истема программирования OpenTSOpenTST-PovRay vs MPI PovRay: T-PovRay vs MPI PovRay: производительностьпроизводительность
90%100%110%120%130%140%150%160%170%180%190%200%210%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Number of processors
Time MPI/Time OpenTS
2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, GigE, LAM 7.1.1
![Page 27: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/27.jpg)
2727
ССистема программирования истема программирования OpenTSOpenTS
M PI
MPIM P_Lite
ALCMD
OpenTS
OpenTSM P_Lite
ALC MD
ALCMD/MPI vs ALCMD/MPI vs ALCMD/OpenTS ALCMD/OpenTS
Библиотека Библиотека MP_Lite MP_Lite (кусочек) (кусочек) переписана на переписана на T++T++
FortranFortran-код -код остался нетронутымостался нетронутым
![Page 28: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/28.jpg)
2828
ССистема программирования истема программирования OpenTSOpenTSКлючевой вопрос:Ключевой вопрос:
Позволяет ли Т-Система Позволяет ли Т-Система легко, легко, удобноудобно создавать создавать библиотеки библиотеки (подобные (подобные MP_Light)MP_Light) для для дальнейшей разработки прикладных дальнейшей разработки прикладных систем?систем?
Экономится ли труд программиста?Экономится ли труд программиста? Действительно ли более читабельный Действительно ли более читабельный
и более компактный код? (и более компактный код? (less space less space for bugs)for bugs)
И при этом мы не сильно жертвуем И при этом мы не сильно жертвуем производительностью (до 30% от производительностью (до 30% от MPIMPI)?)?
![Page 29: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/29.jpg)
2929
ССистема программирования истема программирования OpenTSOpenTSALCMD/MPI vs ALCMD/MPI vs
ALCMD/OpenTS : ALCMD/OpenTS : сложность кодасложность кода
ПрограммаПрограмма Объем исходного Объем исходного кодакода
MP_Lite/MPIMP_Lite/MPI ~3,500 ~3,500 строкстрок
MP_Lite/OpenTSMP_Lite/OpenTS 500 500 строкстрок
![Page 30: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/30.jpg)
3030
ССистема программирования истема программирования OpenTSOpenTSALCMD/MPI vs ALCMD/MPI vs
ALCMD/OpenTS: ALCMD/OpenTS: производительностьпроизводительность
80%
90%
100%
110%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Number of processors
Time MPI/Time OpenTS
2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, GigE, LAM 7.1.1, Lennard-Jones MD, 512000 atoms
![Page 31: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/31.jpg)
3131
ССистема программирования истема программирования OpenTSOpenTSALCMD/MPI vs ALCMD/MPI vs
ALCMD/OpenTS: ALCMD/OpenTS: performanceperformance
80%
90%
100%
110%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Number of processors
Time MPI/Time OpenTS
2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, InfiniBand,MVAMPICH 0.9.4, Lennard-Jones MD,512000 atoms
![Page 32: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/32.jpg)
3232
Институт программных систем Российской академии наук
Приложения, Приложения, написанные на написанные на Open TSOpen TS
![Page 33: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/33.jpg)
3333
ССистема программирования истема программирования OpenTSOpenTSТ-ПриложенияТ-Приложения
MultiGen – MultiGen – оценка биологической оценка биологической активности веществактивности веществ
Дистанционное зондирование Земли (ДЗЗ)Дистанционное зондирование Земли (ДЗЗ) Моделирование плазмыМоделирование плазмы Моделирование белковМоделирование белков АэромеханикаАэромеханика Query engine for XMLQuery engine for XML ИИ-приложения (3 штуки)ИИ-приложения (3 штуки) и др.и др.
![Page 34: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/34.jpg)
3434
ССистема программирования истема программирования OpenTSOpenTS MultiGenMultiGenЧелябинский Государственный Челябинский Государственный
УниверситетУниверситетLevel 0
Level 1
Level 2
Multi-conformation model
К0
К11 К12
К21 К22
![Page 35: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/35.jpg)
3535
ССистема программирования истема программирования OpenTSOpenTS
MultiGen: SpeedupMultiGen: Speedup
Substance Atom number
Rotations number
Conformers Exectution time (min.:с)
1 node 4 nodes 16 nodes
NCI-609067 28 4 13 9:33 3:21 1:22
TOSLAB A2-0261 82 18 49 115:27 39:23 16:09
NCI-641295 126 25 74 266:19 95:57 34:48
National Cancer Institute USAReg.No. NCI-609067(AIDS drug lead)
TOSLAB company (Russia-Belgium)Reg.No. TOSLAB A2-0261(antiphlogistic drug lead)
National Cancer Institute USAReg.No. NCI-641295(AIDS drug lead)
![Page 36: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/36.jpg)
3636
ССистема программирования истема программирования OpenTSOpenTSАэромеханикаАэромеханика
НИИ механики МГУ им. НИИ механики МГУ им. М.В.ЛомоносоваМ.В.Ломоносова
![Page 37: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/37.jpg)
3737
ССистема программирования истема программирования OpenTSOpenTSАэромеханикаАэромеханика
НИИ механики МГУ им. НИИ механики МГУ им. М.В.ЛомоносоваМ.В.Ломоносова
![Page 38: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/38.jpg)
3838
ССистема программирования истема программирования OpenTSOpenTSВосстановление изображения по данным Восстановление изображения по данным
бортовой РЛС («Алмаз»)бортовой РЛС («Алмаз»)
05
1015202530354045
1 4 8 12 16 20 24 28
![Page 39: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/39.jpg)
3939
ССистема программирования истема программирования OpenTSOpenTSМоделирование перспективной Моделирование перспективной
широкополосной РЛСширокополосной РЛС
0
50
100
150
200
250
300
1 4 8 12 16 20 24 28
![Page 40: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/40.jpg)
4040
ССистема программирования истема программирования OpenTSOpenTSКлассификация изображений Классификация изображений
((LandsatLandsat)) ВычислительнВычислительн
ый ый Web-Web-сервиссервис
![Page 41: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/41.jpg)
4141
ССистема программирования истема программирования OpenTSOpenTSДальнейшие планыДальнейшие планы
Более глубокая поддержка многоядерныхБолее глубокая поддержка многоядерных CPU CPU (Территориально-) Распределенные системы(Территориально-) Распределенные системы
ПланировщикПланировщик Другие коммуникационные реализации Другие коммуникационные реализации DMPIDMPI Интерфейсы к Интерфейсы к Web-Web-сервисамсервисам
Счет, устойчивый к отказам (Счет, устойчивый к отказам (fault-tolerance)fault-tolerance) Перенос на другие архитектуры (Перенос на другие архитектуры (IBM Blue IBM Blue
Gene), Gene), оптимизация под различные оптимизация под различные современные современные CPUCPU
Скелеты алгоритмов, шаблоны и Скелеты алгоритмов, шаблоны и параллельные библиотеки высокого уровняпараллельные библиотеки высокого уровня:: sum = fold +sum = fold + minimum = fold minminimum = fold min prod = fold *prod = fold *
![Page 42: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/42.jpg)
4242
ССистема программирования истема программирования OpenTSOpenTSЗа рамками докладаЗа рамками доклада
Другие Т-диалектыДругие Т-диалекты: T-Refal, T-Fortan: T-Refal, T-Fortan Мемоизация (табулирование) функцийМемоизация (табулирование) функций Автоматическое переключение между Автоматическое переключение между
call-call-стилем и стилем и fork-fork-стилем при вызове Т-стилем при вызове Т-функцийфункций
Контрольные точки (Контрольные точки (CheckpointingCheckpointing)) HeartbeatHeartbeat-механизм-механизм Ароматы (Ароматы (FlavoursFlavours) ) tptr-tptr-указателейуказателей: :
““normalnormal”, “”, “glueglue” and “” and “magneticmagnetic” ” — — ленивые, жадные и супержадные ленивые, жадные и супержадные передачи данныхпередачи данных
![Page 43: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/43.jpg)
4343
ССистема программирования истема программирования OpenTSOpenTSБлагодарностиБлагодарности
Суперкомпьютерная программа «СКИФ» Суперкомпьютерная программа «СКИФ» Союзного государстваСоюзного государства
Программы РАНПрограммы РАН ОИВТС: «Высокопроизводительные ОИВТС: «Высокопроизводительные
вычислительные системы с новыми вычислительные системы с новыми принципами организации вычислительных принципами организации вычислительных процессов»процессов»
Президиум: «Создание основы для внедрения Президиум: «Создание основы для внедрения распределенных научных информационно-распределенных научных информационно-вычислительных сред на вычислительных сред на GRID GRID технологиях»технологиях»
РФФИ: грант РФФИ: грант 05-07-08005-офи_а05-07-08005-офи_а Microsoft – Microsoft – контракты «контракты «Open TS vs MPI case Open TS vs MPI case
studystudy» и «» и «Porting Open TSPorting Open TS @ Microsoft @ Microsoft Windows Computing Cluster ServerWindows Computing Cluster Server»»
![Page 44: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/44.jpg)
4444
Институт программных систем Российской академии наук
Спасибо за внимание...Спасибо за внимание...… … … … Готов ответить на вопросы Готов ответить на вопросы
… …… …
![Page 45: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/45.jpg)
4545
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 46: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/46.jpg)
4646
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 47: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/47.jpg)
4747
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 48: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/48.jpg)
4848
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 49: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/49.jpg)
4949
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 50: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/50.jpg)
5050
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 51: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/51.jpg)
5151
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи
![Page 52: Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS](https://reader036.vdocuments.pub/reader036/viewer/2022062305/56815d63550346895dcb6ac0/html5/thumbnails/52.jpg)
5252
ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация
идеиидеи