О технологии Грид и ее использовании
DESCRIPTION
О технологии Грид и ее использовании. Ю.Ф.Рябов. Содержание. Предпосылки создания и концепции технологии Грид Проект EGEE Национальные Грид инициативы Российский Грид Опорная сеть СПбНЦ (РОКСОН) Информация для контактов. Эволюция интернета. Совместно используем ые ресурсы - Grid. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/1.jpg)
О технологии Грид и ее использовании
Ю.Ф.Рябов
![Page 2: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/2.jpg)
Содержание
• Предпосылки создания и концепции технологии Грид
• Проект EGEE• Национальные Грид инициативы• Российский Грид• Опорная сеть СПбНЦ (РОКСОН)• Информация для контактов
![Page 3: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/3.jpg)
Эволюция интернета
Совместно используемые ресурсы - Grid
Совместно используемая информация - World Wide
Web
Сети соединяющие локальные ресурсы
Совместно используемые сети
![Page 4: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/4.jpg)
Что такое Что такое Grid? Grid?
“GRID” - некоторая аналогия с электрическими сетями (power grid),
предоставляющими всеобщий доступ к электрической мощности.
![Page 5: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/5.jpg)
Предпосылки создания Гридобусловлены
• Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных.
• Наличием во многих организациях вычислительных ресурсов (часто кластеров)
• Необходимостью решения сложных научных, инженерных и бизнес-задач
![Page 6: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/6.jpg)
Компьютерные сети
• Производительность– Вычислительные скорости удваиваются каждые 18 месяцев– Скорости сетей удваиваются каждые 9 месяцев– Разница на целый порядок за 5 лет
• 1986 - 2000– компьютеры: x 500– сети: x 340 000
• 2001 - 2010– компьютеры: x 60– сети: x 4000
![Page 7: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/7.jpg)
Цели создания Грид-инфраструктуры
Среди основных целей создания Грид на данный момент можно выделить:
организация эффективного использования ресурсов решение крупных задач, требующих огромных
процессорных ресурсов, памяти; вычисления с привлечением больших объемов
географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий,медицине,химии и т.д.
коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций.
..
![Page 8: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/8.jpg)
Концепция Грид
• Гибкое, защищённое, координированное пользование вычислительными ресурсами между различными динамичными группами пользователей и организаций.
• Сделать возможным для различных групп пользователей (‘виртуальных организаций’) совместное использование географически удалённых ресурсов при совместной работе, подразумевая отсутствиецентрализованного расположения вычислительных ресурсов,централизированного управления ресурсными центрами
Виртуальная организация- объединение(коллаборация)специалистов из некоторой прикладной области,которые объединяются для достижения общей цели
![Page 9: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/9.jpg)
О технологии ГридГрид Распределенная программно-аппаратная компьютерная
среда с принципиально новой организацией вычислений и управления потоками заданий и данных.
Компьютерная инфраструктура,предназначенная для объединения вычислительных мощностей различных организаций.
На основе технологии Грид Предполагается формирование региональных,
национальных и интернациональных вычислительных компьютерных инфраструктур, предназначенных для решения крупных научно-технических задач.
В идеальном случае пользователя не будет интересовать, где находятся используемые им ресурсы.
![Page 10: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/10.jpg)
О технологии Грид
виртуализация ресурсов — концепция разделения и совместного использования логических и физических устройств в сети.
среда, в которой объединены находящиеся в разных местах глобальной телекомунникационной сети вычислительные ресурсы и которая предназначена для выполнения распределенных приложений, использующих эти ресурсы
технология распределенных вычислений в Интернете впервые серьезно ставится вопрос о гарантированном
качестве обслуживания. новое поколение Интернета.
![Page 11: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/11.jpg)
До До GridGrid
Пользователи из многих центров нуждаются в распределённых ресурсах.
Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных
Различные протоколы и способы доступа – FTP, telnet, кровь, пот и слёзы… и очень слабая поддержка совместной работы в коллаборациях
![Page 12: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/12.jpg)
Вместе с Вместе с Grid Grid
Объединенные сетью центры обработки данных и соответствующее программное обеспечение (”middleware”) - как элемент, “склеивающий” ресурсы
Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения.
Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных
![Page 13: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/13.jpg)
GRID
MIDDLEWARE
Визуализация
Рабочие станции
Мобильный доступ
Суперкомпьютеры,PC-кластеры
Хранилища данных, эксперименты, …
Internet, сети
ППО Грид (ППО Грид (middlewaremiddleware))
![Page 14: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/14.jpg)
Службы Грид (Службы Грид (gLitegLite))
Доступ в Грид
Интерфейс Пользователя
Управление заданиямиУправление данными
Безопасность
Информация и
мониторинг
Служба регистрации
сервисов
Авторизация
Аутентификация
Информационная служба и мониторинг
Каталог
метаданных
Элемент
хранения
Передача
данных
Каталог
файлов и реплик
Вычислительный
элемент
Выбор ресурса и
загрузка заданий
![Page 15: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/15.jpg)
Ресурсыброкер ресурсов
принимает задание от пользователя согласует требования к ресурсам, содержащиеся в
описании задания, с имеющимися в наличии свободными ресурсами и
направляет задание на подходящий сайт.
25
Выбор ресурсаВыбор ресурса
![Page 16: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/16.jpg)
Типы грид-систем с позиций решаемых задач
• Вычислительный Грид для махимальной скорости вычислений за счет распределения задач между различными центрами (Computational Grid);
• Грид для интенсивной обработки огромных массивов данныхданных (Data Grid);
• Семантический Грид для оперирования данными из различных баз данных (Semantic Grid);
![Page 17: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/17.jpg)
Разномасштабные Гриды
Грид “кампуса”
Региональный грид (напр. BalticGrid)
Национальный грид
Международный грид (EGEE)
Ши
ре
сотр
удн
ич
еств
о,
бо
ль
ше
рес
урсо
в
Национальные центры данных, МВЦ, экспериментальные установки
Интситутские данные; кластеры
Международные проекты,..
![Page 18: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/18.jpg)
EGEE проект
EGEE-Enable Grid for E-sciencE
=
Развертывание Грид-инфраструктуры
для науки
![Page 19: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/19.jpg)
Основные цели и задачи проекта EGEE
•Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие
•Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения
•Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований
•Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки
![Page 20: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/20.jpg)
Участники и ресурсы EGEE
• 237 центров в 45 странах
• ~36 000 CPU
• ~ 5 PB дисковой памяти, + tape
• распределённое управление
• >200 ВО из различных областей науки
98k зад./день
![Page 21: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/21.jpg)
Мониторинг узлов EGEE
![Page 22: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/22.jpg)
Приложения в EGEE
•для экспериментов на ускорителе БАК (ATLAS, CMS, ALICE, LHCb)-LCG
• биомедицина и биоинформатика GATE - медицинская томография и планирование процедур радиотерапииgPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов,Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм GPS@ : портал по биоинформатике, посвящённый различным средствам для анализа белков CDSS - клиническая система поддержки принятия решений моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )
![Page 23: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/23.jpg)
Необходимость ГРИД для БАК
• Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить?
• Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять?
• Ресурсы ЦЕРН уже сейчас составляют более 3000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Конкорд
(15 Км)
Воздушный шар(30 Км)
Стопка CD дисков с данными БАК за 1 год (~ 20 Км)
Монблан(4.8 Км)
![Page 24: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/24.jpg)
Топология сети для обработки данных с БАК
![Page 25: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/25.jpg)
Проект WISDOM
• Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным
лекарством и белком-мишенью
• Первый в истории биомедицины сеанс массовой обработки данных
• Исследовано 46 миллионов посадочных лиганд
• Получено более 1 Тб данных
• Были использованы ~1000 компьютеров из 15 стран, что составляет приблизительно 80 машино/лет
• Средний фактор ускорения - 600
Domain distribution of Flexx run jobs
es; 5122
fr; 7580
gr; 2004 il; 263 it; 3687
nl; 3356
tw; 827
uk; 8106
bg; 597 com; 1072
de; 715 cy; 383
pl; 1877
ru; 218
ro; 337
![Page 26: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/26.jpg)
Другие области,использующие инфраструктуру EGEE
• Науки о Земле: наблюдения за поверхностью Земли со спутников, гидрология – проникновение морской воды в прибрежный водоносный слой, климатология – прогнозирование наводнений, физика Земли - численное моделирование землетрясений.
• Геофизика (промышленное приложение Geocluster)• Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO)• Термоядерный синтез (проект ITER)• Вычислительная химия (проекты CHARON, CompChem)• Археология• Финансовые приложения (проект EGRID)•……………………………………………………………………………..
(Всего свыше 200 виртуальных организаций)
![Page 27: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/27.jpg)
Проекты с EGEE
EGEE EGEE-II EGEE-III
Проекты,представленные на
конференции EGEE’07
![Page 28: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/28.jpg)
Взаимодействие проекта EGEE с Грид проектами по бизнесу
• EGEE Business Associates Program
![Page 29: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/29.jpg)
Национальные ГРИД инициативы• Англия UK National Grid Service http://www.ngs.ac.uk• Австрия Austrian Grid Initiative http://www.austriangrid.at• Бельгия BEgrid http://www.begrid.be/• Болгария Bulgarian Grid Consortium, BGGC, http://www.grid.bas.bg/consortium.htm• Хорватия CRO-GRID http://www.srce.hr/crogrid/• Чехия METACentrum http://meta.cesnet.cz• Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet)
http://grid.eenet.ee• Финляндия CSC – Scientific Computing Ltd., http:// www.csc.fi• Франция EGEE-FranceGermanyD-Grid, https://www.d-grid.de/index.php?id=1&L=1• Греция HellasGrid, HG, http:// www.hellasgrid.gr• Ирландия Grid-Ireland http://www.grid.ie/• Израиль Israel Academic Grid (IAG) http://iag.iucc.ac.il• Италия Italian Grid Infrastructure, IGI, http://www.italiangrid.org• Литва Lithuanian Grid LitGrid http://www.litgrid.lt• Голландия Netherlands National Science Grid, internally known as BIGGRID project• Норвегия Norwegian Grid (NorGrid), http:// www.norgrid.no• Польша PL-Grid, http://plgrid.cyfronet.pl (public part in preparation)• Португалия Iniciativa Nacional Grid – INGRID http://www.gridcomputing.pt/• Румыния RoGrid URL: http:// www.rogrid.ro (old version)• Россия Russian Data Intensive Grid (RDIG): http:// www.egee-rdig.ru (?????)• Сербия SerbiaAcademic and Educational Grid Initiative of Serbia AEGIS
http://aegis.phy.bg.ac.yu• Украина Ukrainian Grid, UGrid http://grid.ntu-kpi.kiev.ua/• Швеция Swedish Grid, SweGrid, http://www.swegrid.se/ and http://www.snic.vr.se/• Турция TR-Grid National Grid Initiative, TR-Grid NGI http://www.grid.org.tr • Германия(D-initiative)
![Page 30: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/30.jpg)
D-GRID Initiative(Germany)D-Grid1(2005-2008)D-Grid2(2007-2010)
Проекты в рамках D-grid Consortium:– DGI-интеграционный проект;– AeroGrid-аэрокосмическая инженерия;– BauVOGrid-строительная индустрия;– Biz2Grid- для учреждений;– FinGrid- финансы;– PartnerGrid-для промышленности(>40фирм);
-- MediGRID -для медицины
………………………………………………(Всего > 20 проектов).
![Page 31: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/31.jpg)
RDIG(РДИГ -Российский ГРИД для интенсивных операций с данными)
Цели:
- создание национальной ГРИД-инфраструктуры в интересах научного сообщества с участием организаций из различных областей науки, образования и промышленности
- предпринимать усилия по пропаганде ГРИД-технологий и обеспечивать возможность обучения и подготовки специалистов для использования ГРИД-сервисов в новых исследовательских областях и экономике
- обеспечения полномасштабного участия России в создании глобальной компьютерной ГРИД-инфраструктуры
- консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).
![Page 32: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/32.jpg)
Участники РДИГ
Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).
Сейчас в РДИГ (http://www.egee-rdig.ru) входят 15 институтов (в 2003 году - 8)
![Page 33: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/33.jpg)
Распределение CPU time по регионам
![Page 34: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/34.jpg)
Распределение процессорного времени по российским организациям(сайтам)
![Page 35: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/35.jpg)
Распределенный инженерный R&D центр ДМЗ-Камов
Предпосылки:• Необходимость проведения больших и сложных проектных
работ для создания летательных аппаратов нового поколения или глубокой модернизации существующих.
• Недостаток необходимого количества инженеров-конструкторов в любом из существующих ОКБ для проведения всего комплекса .
• Территориальная разбросанность ОКБ.
(из доклада на совещании в Дубне)
![Page 36: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/36.jpg)
Распределенный инженерный R&D центр ДМЗ-Камов
Постановка задачи:• Возможность распределения из одного центра работ по
исполнителям.• Возможность постоянного контроля над ходом выполняемых работ.• Возможность распределенной работы с современными
CAD/CAM/CAE-системами.• Единая база данных.• Доступность данных в любой момент времени.• Защищенность от несанкционированного доступа.• Уникальность и сохранность данных и стадий их разработки
(протоколирование процесса разработки, архивация промежуточных данных).
• Минимальные капиталовложения.• Возможность рекрутинга через привлечение в виртуальные
коллективы студентов и аспирантов. (из доклада на совещании в Дубне)
![Page 37: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/37.jpg)
О внедрении технологии гридв промышленном масштабе
-Обучение основам технологии (ознакомление руководства,изучение
и тренинг для пользователей);
-Создание ГРИД инфраструктуры как распределенного центра коллективного пользования)
- Подготовка приложений для использования технологии в конкретных областях науки, промышленности, бизнеса
![Page 38: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/38.jpg)
Карта сети
![Page 39: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/39.jpg)
РОКСОН в цифрах
1. Подключено: - академических организаций -40, - организаций образования, культуры, ГНЦ- 22.2. Протяженность ВОК составляет: - общая- >80 км - собственность СПбНЦ РАН – ~50км - аренда - ~30км.3. Количество опорных узлов – 7.4. Скорости магистральных каналов – 1000 MBps. 5. Скорости подключения конечных пользователей - 100 MBps
![Page 40: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/40.jpg)
Опорная сеть СПБНЦ
ПИЯФ РАН МСЦ РАН СПИИРАН
Интернет
1000 Mbps1000 Mbps1000 Mbps
1000 Mbps
Пользователи ГРИД
Пользователи ГРИД
Академический Грид в Санкт-Петербурге
![Page 41: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/41.jpg)
Обучение
• Введение в Грид технологию• Практические занятия с пользователями• Обучение администраторов вычислительных ресурсов
организаций
Место проведения:
в организациях (по запросу)
![Page 42: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/42.jpg)
Контакты
• Рябов Юрий Федорович [email protected]
тел. 88137146076• Новодворский Евгений Григорьевич [email protected]• Олешко Сергей Борисович [email protected]
![Page 43: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/43.jpg)
Полезные ссылки
• http://www.gridclub.ru/ - GRIDCLUB.RU :: Интернет-портал по грид-технологиям
• http://grid.jinr.ru/ - грид-портал ОИЯИ• http://www.eu-egee.org - проект EGEE-II• http://www.egee-rdig.ru/ - RDIG консорциум• http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG• http://egee.sinp.msu.ru - НИИЯФ МГУ• http://egee.pnpi.nw.ru/ - ПИЯФ РАН
![Page 44: О технологии Грид и ее использовании](https://reader035.vdocuments.pub/reader035/viewer/2022062217/568148f7550346895db617a1/html5/thumbnails/44.jpg)
Добро пожаловать
работать в ГРИД!
Спасибо за внимание