Преглед на egee проекта и неговия мидълуер

EGEE-II INFSO-RI-031688

Enabling Grids for E-sciencE

www.eu-egee.org

Преглед на EGEE проекта и неговия мидълуер Mike Mineter

[email protected]

Overview of EGEE 2



Съдържание

• Какво е EGEE?– Цели– Състояние– Дейности

• Грид услуги: gLite 3.0• GILDA – гридът, който ще използваме при

практическите упражнения• Източници на допълнителна

информация

Overview of EGEE 3



EGEE – международна е-инфраструктура

Мрежова инфраструктура

& Ресурсни центрове centres

Дей

но

сти

, по

др

ъж

ка и

о

бу

че

ни

е

сътрудничество

Пан европейски Грид

Четири годишна програма:

• Да се изгради, утвърди и пусне в действие единна, устойчива и голяма промишлена грид система, която– Се свързва и доизгражда

върху национални, регионални и международни инициативи

• Подобрява и поддържа мидълуера за наличие на устойчиви услуги за потребителите

• Привлича нови потребители и промишлеността с осигурени за тях обучение и поддръжка

Overview of EGEE 5



За първите 2 години на EGEE

• Създадени са качествени, устойчиви грид услуги за промишлени гридове– 3000 потребителя от поне 5

дисциплини– Целта бе да се интегрират 50 сайта в

една обща инфраструктура понастоящем са 180

– Предлага 5 петабайта (1015) памет

• Демонстрира работещ процес на привличане на други общности с техни приложения

• Осигурява втора фаза от април 2006

пилотни нови

Overview of EGEE 6



• Естествено продължение на EGEE– Разширен консорциум– Набляга се на осигуряване на

инфраструктура повече поддръжка за приложения взаимодействие с други инфраструктури по-голямо участие на промишлеността

SA: дейности по услугите (service activities)- създаване на процеси

NA: мрежови дейности (network activities)- подръжка на ВО

JRA: съвместни изследователски дейности (“joint research activities”)

- напр. утвърждаване на мидълуера

EGEE-II

Overview of EGEE 7



Overview of EGEE 8



EGEE-II: експертиза & ресурси

• Повече от 90 партньора • 32 страни• 12 федерации

Важни и национални Грид Проекти в Европа, САЩ, Азия

+ 27 страни посредством свързани

проекти:– BalticGrid– SEE-GRID– EUMedGrid– EUChinaGrid– EELA

Overview of EGEE 9



Свързани проекти: инфраструктурни, инженерни, образователни

Име Описание

BalticGrid EGEE разширение за Естония, Латвия и Литва

EELA EGEE разширение за Бразилия, Чили, Куба, Мексико, Аржентина

EUChinaGRID EGEE разширение за Китай

EUMedGRID EGEE разширение за Малта, Алжир, Мароко, Египет, Сирия, Тунис, Турция

ISSeG Сигурност на сайтовете

eIRGSP Политики

ETICS Съхраняване, тестване

OMII-Europe Да осигурява ключовеи програмни компоненти за изграждане на е-инфраструктури;

BELIEF Цифрова библиотека с Грид документация, организиране на семинари, конференции

BIOINFOGRID Биомедицина

Health-e-Child Биомедицина– интегриране на хетерогенна биомедицинска информация за по-добро здравеопазване

ICEAGE Международно сътрудничество за разширяване и модернизиране на образованието по Грид

Overview of EGEE 10



Добродетелния EGEE цикъл

NA2, NA3, NA4

NA3, NA4 SA1

JRA1

Изграждане на ефективни потребителски общества

Overview of EGEE 11



Курсове за обучение

• http://www.egee.nesc.ac.uk/schedreg

Overview of EGEE 12



Грид услуги

Как може мидълуера на EGEE да подържа сътрудничество и работа по общи ресурси в рамките на и между множество разнообразни ВО?

Overview of EGEE 13



Грид мидълуер

• Когато ползвате ПК или работна станция:– Влизате с потребителско

име и парола (“Authentication”)

– Ползвате предоставените ви права (“Authorisation”)

– Изпълнявате задания– Работите с файлове:

създавате ги, четене/писане, списъци директории

• Компонентите са свързани с шина

• Операционна система • Един администр. домейн

• При използване на Грид– Влизате с цифрови

акредитиви (“Authentication”)

– Ползвате предоставените ви права (“Authorisation”)

– Изпълнявате задания– Работите с файлове:

създавате ги, четене/писане, списъци директории

• Услугите са свързани с Интернет

• Мидълуер

• Много администр. домейни

Overview of EGEE 14



Типичен съвременен грид

• Грид мидълуер се изпълнява на всеки обще ресурс

– Съхранение на данни– (типично) опашки от

задания (batch) за множество процесори

• Потребителите се присъединяват към ВО

• Виртуалните организации преговарят със сайтове за съгласие за достъп до ресурси

• Разпределени услуги (потребители и мидълуер) позволяват работата на грида с единичен вход

Интернет

За всеки сайт с изчислителни възможности:

• Локална система за управление на ресурсите

• (= опашка от batch)

•Condor

•PBS

•Torque

•…

• EGEE термин: опашка е “изчисляващ елемент”

Overview of EGEE 15



Упълномощаване, проверка за достоверност (AA)

Потребители на различни места и организации

Изчислителни клъстъри,… Мрежови ресурси Съхранение на данни

Операционна система Разпределител на мястоФайлова система

хардуер

System software

HPSS, CASTOR…HPSS, CASTOR…

NFS, …NFS, … PBS, Condor, LSF,…PBS, Condor, LSF,…

Resources in many locations and organisations

Грид услуги

Услуги за достпъ (“потребителски интерфейс”) : вход, зареждане на права, изпълнение на m/w команди

“запазване на портала”: съответствие на правата на потребителя с локалния

идентификатор на потребителя

Изградени на Сигурна Грид Инфраструктура

Overview of EGEE 16



Подаване на задачаПотребители

Изчислителни елементи Мрежови ресурси Съхранение на данни

Ресурси

Как да изпълня задание на изчислителен елемент (CE) ? (CE =опашка от задания)

Средства, които:

•Копират файлове на и между CE и паметта за данни

•Предава задание на CE

•Следи заданието

•Получава резултат

Overview of EGEE 17



Информационна услуга (Information service - IS)

потребители


Ресурси

Как да знам кой CE изпълнява заданието ми?Кои са свободни?

Информационна услуга (IS):

• Ресурсите изпращат актуално състояние на IS

• Грид услугите подават запитване към IS преди изпълнение на задание

Overview of EGEE 18



Управление на файловеПотребители


Ресурси

My data are in files, and I’ve terabytes

Памет

Обмен

Управление на копия Our data are in files, and I’ve terabytes

Имаме терабайти данни във файлове • EGEE данни: основно във

файлове

• услуги за БД, използвани от ВО не са още пуснати

Overview of EGEE 19



Потребителски интерфейсПотребителски интерфейс (UI) (UI): Потребителят влиза в Грида

Изчислителен ЕлементИзчислителен Елемент (CE) (CE): Опашка от задания при компютрите на сайта, където ще се изпълнява заданието на потребителя

Елементи паметЕлементи памет (SE) (SE): осигурява (голяма) памет за файлове

Ресурсен брокерРесурсен брокер (RB) (RB): Съчетава изискванията на потребителя с ресурсите на Грида

Основни компоненти

Информационна СистемаИнформационна Система: характеристики и състоянието на CE и SE (използва “GLUE схема”)

Overview of EGEE 20



Съвременен промишлен мидълуер

Каталог Каталог копиякопия

ВходВход & &статистикастатистика

РесурсенРесурсенброкерброкер

ЕлементиЕлементипаметпамет

ИзчислителенИзчислителенелементелемент

ИнфоИнфоуслугауслуга

Състояние на заданието

Инфо DataSets

Автор&права.

Подаван

е на

работа

Запи

тване за

работа

Със

тоян

ие н

а за

дани

ето

Вход “пясъчна кутия”

Вход “пясъчна кутия” +

инфо Б

рокер

Изход “пясъчна кутия”

Изход “пясъчна кутия”

публ

ик

уване

SE & CE инфо

““потребителскипотребителски

интерфейсинтерфейс””

Overview of EGEE 21



Пример за JDL файлExecutable = “gridTest”;

StdError = “stderr.log”;

StdOutput = “stdout.log”;

InputSandbox = {“/home/joda/test/gridTest”};

OutputSandbox = {“stderr.log”, “stdout.log”};

InputData = “lfn:testbed0-00019”;

DataAccessProtocol = “gridftp”;

Requirements = other.Architecture==“INTEL” && \ other.OpSys==“LINUX”;

Rank = “other.GlueHostBenchmarkSF00”;

Работа върху основните инструменти и информационната услуга

•Заданието се представя на Грид чрез “Ресурсния брокер (RB)”,

•glite_job_submit my.jdlВръща “job-id”, което се използва да следи заданието и да извлече изход

Overview of EGEE 22



Кой осигурява ресурсите?!

УслугаУслуга Осигуряващ Забележка

Услуга за достъпУслуга за достъп потребител / институт / ВО

Компютър с клиентски софтуер

Ресурсен БрокерРесурсен Брокер (RB) (RB) ВO

Информационна Информационна системасистема:

Грид дейности/операции

Изчислителен Изчислителен елементелемент (CE) (CE)

ВО Мащабирането изисква ВО да осигури ресурси, които да съответстват на средните нужди

Елементи паметЕлементи памет (SE) (SE) ВО

“VO”: виртуална организация “Грид дейности”: заплащани дейности

Overview of EGEE 23



Съставни части на Грид “екосистемата”

. . .

LCG

2004

2001

EGEE

Used in

USA EU

NextGrid DEISAGridCC

Бъдещи гридове

EDG

Globus MyProxyCondor ...

VDT

DataTAG

CrossGrid ...

OSG, …

SRM

…

interactive

Overview of EGEE 24



“gLite 3.0” настоящият мидълуер

• Изпълнява се на различни Linux версии– Най-често на “Scientific Linux”– Потготвя се пренасянето му на други операционни системи

• Използва се в момента на EGEE промишлен Грид• История

– През последните 2 години бяха създадени нови услуги при създаването на нов мидълуеър, като “пред-промишлен” вид до версия gLite 1.5

– Тяхно подмножество се използва с предишен мидълуеър (LCG 2.7) Всички компоненти, които са вече в LCG 2.7.0 плюс

обновяванията• Това включва нови версии на VOMS, R-GMA и FTS

Системата за управление на заетостта (със LB, CE, UI) за gLite 1.5.0

Overview of EGEE 25



След gLite 1.5.0

• Преминаване от LCG и gLite към единен мидъуеър стек, наречен gLite. Първата версия е gLite 3.0.0– Процесът се контролира от Групата за техническа координация– gLite 1.5.0 и LCG 2.7.0 са последните независими издания

• Компоненти в gLite 3.0.0– Сертифицирани:

Всички компоненти, които са в LCG 2.7.0 заедно с обновените версии• Това включва новите версии наVOMS, R-GMA и FTS

Системата за управление на заетостта(със LB, CE, UI) на gLite 1.5.0

– Изпробвани непълно и с ограничена поддръжка: Системата DGAS за отчетност Средства за управление на данните, според нуждите на Biomed

обществото• Hydra, AMGA, сигурен достъп до данни

Overview of EGEE 26



gLite грид мидълуер услуги

API

Достъп

Услуги по управление на натоварването

Изчислителен

елемент

Управление

натовареност

Метаданни

каталог

Управление на данни

Елементи

СъхранениеОбмен на

данни

Файл & копияКаталог

разрешение

Услуги по сигурността

идентифициране

информация &мониторинг

Информационни&

мониторингови услуги

Следене на

приложенията

свързаност

отчетност

Одитиране

Произход на

заданието

Управление

пакети

CLI

Overview of EGEE 27


EGEE-II INFSO-RI-031688 18:00 on 8 March 2006

http://gridportal.hep.ph.ic.ac.uk/rtm

Overview of EGEE 28



t-инфраструктура

• защо t-инфраструктура? – Необходимост от обучение!– e-инфраструктура за промишлеността– t-инфраструктура за обучение

• Нужда от гарантиран отзвук от обучението; ограничаване на уязвимостта на промишлените системи– Използване на обучителен грид – тренирани CA – Да може да се променя мидълуера за подготовка на

участниците в бъдещи версии на промишлени системи– Нужда от сигурни ресурси за обучение по инсталиране– Лесен вход за нови общности

Overview of EGEE 29



•19 сайта на 3 континента•> 3000 издадени сертификата, >15% подновени поне веднъж•> 100 обучения и демонстрации за 23 месеца•> 1,000,000 попадения (> 50,000 уникални посещения) на уеб сайта от десетки различни страни•> 0.6 TB материали за обучение, свалени от уеб сайта

t-инфраструктурата GILDA (https://gilda.ct.infn.it)

Overview of EGEE 30



Обобщение

• EGEE изпълнява най-големия грид с множество ВО в света!

• gLite 3.0 промишлен мидълуеър– На негова база може да се изграждат средства и услуги за

нови потребителски общности

• Ефективна поддръжка на нови потребителски общности

• t-инфраструктура за обучение– GILDA

• следващите 2 години: напредък към– Федериран грид– Устойчива организация

Overview of EGEE 31



Further information

• EGEE конференция: 25-29 September 2006http://www.eu-egee.org/news/registration-open-for-egee201906-conference-September-2006-geneva/

• EGEE цифрова библиотека: http://egee.lib.ed.ac.uk/ – Нужда от сертификат (GILDA или национална CA в браузър)

• EGEE www.eu-egee.org• EGEE: 1st потребителски форум

http://egee-intranet.web.cern.ch/egee-intranet/User-Forum

• gLite http://www.glite.org/• LCG http://lcg.web.cern.ch/LCG/

• Open Grid Forum http://www.gridforum.org/• Globus Alliance http://www.globus.org/• VDT http://www.cs.wisc.edu/vdt/

NEW!!!

Преглед на egee проекта и неговия мидълуер

Documents