Распределенные вычисления,“облака” и Грид

Сергей Белов, ЛИТ ОИЯИbelov@jinr.ru

Вычисления вокруг нас

2

Человечество всегда нуждалось в вычислениях

Военные цели

Космос

Наука

Производство

Строительство

Финансы

3

Немного истории: инструменты для счёта

4

От отдельного компьютера к кластеру

Объединение компьютеров в сети позволило:• Значительно ускорить расчеты за счет

распределения вычислительных задач между машинами

• Повысить надежность хранения данных и общую отказоустойчивость системы

5

• В мире уже больше 1 миллиарда персональных компьютеров

• Процессоры ПК в среднем используются не более чем на 5%

• Можно задействовать простаивающие ресурсы для решения общезначимых задач, таких как:• Поиск лекарств от неизлечимых прежде болезней• Расшифровка генома• Расчет изменения климата на Земле• Предсказание землетрясений• Поиск внеземных цивилизаций

Добровольческие распределенные вычисления

6

CERN - CERN - - Европейский Центр ядерных исследований- Европейский Центр ядерных исследований

7

WWW – 20 летWWW – 20 лет

The LHC Machine

Эксперименты на LHC

8

9

• ежегодно 10-15 миллионов гигабайт данных (около 3 миллионов DVD-дисков)

• Для анализа данных необходимо порядка ~100,000 самых современных процессоров

Потоки данных от LHC

10

11

Идея: вычисления и ресурсы как услуга

Визуализация

Рабочие станции

Мобильный доступ

Суперкомпьютеры, ПК- кластеры

Интернет, сети

ОБЕСПЕЧЕНИЕ ГРИД

Массовая память, сенсоры, эксперименты

ПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕ

Аналогия: электрические сети (“grids”)

12

Объединение ресурсов в грид

13

14

Виртуальные организации

• Что такое ВО– Люди из разных организаций

совместно используют ресурсы для работы над общими проектами

• Зачем создавать Грид?– Общие данные– Объединение ресурсов– Сотрудничество– Более эффективное

использование оборудования• Задумка: один большой Грид• Действительность: множество

грид-сетей • Каждая грид-сеть предоставляет

ресурсы одной или нескольким виртуальным организациям

Институт A

ВО1

Институт В

Институт Б

Институт Г

Институт Д

ВО2Институт Е

14

Что такое грид?

Грид – разновидность параллельной или распределенной системы, позволяющей объединять и совместно использовать географически распределенные ресурсы

“Скоординированное совместное использование ресурсов для решения общих задач в рамках виртуальных организаций”

Я. Фостер, К. Кессельман, С. Тьюке «Анатомия Грид»

•Координирует использование ресурсов при отсутствии централизованного управления этими ресурсами•Использует стандартные, открытые, универсальные протоколы и интерфейсы•Должна нетривиальным образом обеспечивать высококачественное обслуживание

15

Преимущества Грид

• Минимизация затрат при росте возможностей• Эффективное использование компьютерной

инфраструктуры (например, использование простаивающих рабочих мест или свободных вычислительных ресурсов)

• Увеличение доступных вычислительных мощностей (свои + партнеров)

• Упрощение, большая скорость и надежность доступа к данным

• Масштабируемость системы

Крупные грид-проекты в мире

EGEE - Enabling Grids for E-sciencEОсновная область применения — наукаРазвиваются и коммерческие приложения50 стран, ~300 сайтов, ~73'000 процессоров

OSG — Open Science GridНаучный Грид в США~40'000 CPUs (60MSI2k)

NorduGrid12 стран, 60 сайтов, ~25'000 CPUs

TeraGridОбъединение суперкомпьютерных центров

в США750TFlops, 30 Пбайт дисков

17

Часть инфраструктуры проекта EGEE

19

Российский сегмент Грид (РДИГ)

• 15 ресурсных центров в РДИГ:– Ru-Moscow-SINP-LCG2, ITEP, JINR-LCG2,

Kharkov-KIPT-LCG2, RRC-KI, RU-Moscow-KIAM-LCG2, RU-Phys-SPbSU, RU-SPbSU, Ru-Troitsk-INR-LCG2, ru-IMPB-LCG2, ru-Moscow-FIAN-LCG2, ru-Moscow-GCRAS-LCG2, ru-Moscow-MEPHI-LCG2, ru-PNPI, RU-Protvino-IHEP

• Ресурсы– > 3300 процессоров

– ~1000 в ОИЯИ

– ёмкость дисков порядка 1.8 Пбайт (1.8*1015 байт = 400’000 DVD)

20

Статистика работы РДИГ

• 13.7 миллионов вычислительных задач с 2004 года• 22.6 миллиона часов процессорного времени

= 2.6 тысяч лет работы одного компьютера !• Задачи от 33 виртуальных организаций

– alice, ams , atlas, atlaspil, atlasru, batch, biomed, cms, cms3, dteam, eearth, esr, fusion, fusion_rdig, geant4, gear, gridit, hcbp, hone, imain, iteam, lhcb, lhcbpil, lrgst, nw_ru, ops, pamela, photon, rdteam, rfusion, rgstest, sgmeearth, staff

• Нормализованное процессорное время за последний год – 27.2 миллиона условных часов• ALICE - 29%– ATLAS - 23%– CMS - 17%– LHCb - 25%– Другие ВО 6%

94%

Разные проекты из области грид

21

Применения грид-технологий

• Авиационная промышленность• Автомобилестроение• Криптоанализ• Расчет лекарств• Финансы (моделирование, принятие

решений, data mining)• Нефтегазовая отрасль (моделирование,

разведка месторождений)

22

Применения грид-технологий

• Построение более быстрых и надежных распределённых корпоративных информационных систем

• Научные исследования (физика, биология, астрономия, медицина, геология и т.д.)

• Обработка результатов космической фотосъемки

• Создание анимации и спецэффектов в киноиндустрии

23

К «информационной» экономике

• С ростом автоматизации и производительности труда падает число занятых в производстве материальных благ

• Основная активность переносится в информационную область и сферу услуг

Для экономики, ориентированной на обработку информации, нужны

свои средства производства и ресурсы24

«Облачные вычисления»

25

Предоставление по запросу пользователей:– Инфраструктуры (серверов) как услуги - IaaS– Платформы (серверы+ОС) как услуги - PaaS– Программного обеспечения (серверы+ОС+ПО)

в качестве услуги - SaaS

Доступ к услугам осуществляется через Интернет

Грид и «облака»

Грид• из научной среды• до 2000 года• географически

распределен• вычисление и доступ

к данным как услуга

«Облака»• из бизнеса• 2007 год• может располагаться

в одном месте• может

предоставлять произвольные информационные сервисы в виде услуги

26

Общая идея: предоставление доступа к компьютерным услугам как к ресурсу,

виртуализация (скрытие внутренней реализации)

«Облака» и грид в запросах к Google

27

Грид (“grid computing”)Облачные вычисления (“cloud computing”)

число поисковых запросов

число новостей по теме

Возможные перспективы

28

облако/грид из мобильных устройств

Возможные перспективы

29

объединение национальных грид-сетей в облако, расширение набора предоставляемых сервисов?

Возможные перспективы

30

Облачные вычисления включат в себя все типы компьютерных ресурсов?

Skynet?

Киберинфраструктура

Грид

Разделяемые инфраструктура и

сервисы

SaaS

SOA

Виртуализация

Web 2.0

Автоматизация

31

32