produktizacija sistema cern eos · 2019-04-26 · gregor molan comtrade data box dimenzije...

Produktizacija sistema CERN EOSGregor Molan (gregor@comtrade.com, gregor.molan@cern.ch)

Gregor Molan

Vsebina

A. Comtrade: CERN openlab member

B. CERN EOS podatkovni sistem

C. Data Box

2

Gregor Molan

A. Comtrade: CERN openlab member

3

Gregor Molan

CERN openlab

CERN openlab je javno-privatno partnerstvo, ki omogoča sodelovanje med CERN-om in vodilnimi IKT podjetij in raziskovalnim organizacijam.

4

Gregor Molan

CERN openlab

Google, Micron, Huawei, Intel, Siemens, Oracle, be-studys, IBM, E4, Extreme Networks, Rackspace, Comtrade, Open Systems

5

Gregor Molan

CERN openlab Phase V

Družba Comtrade se je pridružila CERN openlab v peti fazi (Phase V) leta 2015

6

Gregor Molan

Faze sodelovanja v CERN openlab

1. Faza: 2015-2016

• Pridobivanje znanja o sistemu CERN EOS

• Razvoj instalacije za EOS

2. Faza: 2016-2017

• Integracija Comtradovih inženirjev v CERN-ove ekipe

• Robustna instalacija: hitra postavitev EOS-a

• Nadaljevanje razvoja, testiranje in dokumentacija

3. Faza: 2017-2019

• Prenos znanja in izkušenj med CERN-om in Comtradom

• Posodobljena dokumentacija za EOS

• Potrditev koncepta (Proof of concept) za nove funkcionalnosti

7

Gregor Molan

B. CERN EOS podatkovni sistem

8

Gregor Molan

Kaj je EOS?

• Odprtokodni sistem

– https://github.com/cern-eos/eos

– https://eos.web.cern.ch/

• Lastnosti:

– Elastičnost, prilagodljivost, nadgradljivost (scalability)

– Zapis podatkov, možnost obdelave, analiza uporabnikov

– Podpora več tisoč odjemalcev

– Različni protokoli: HTTP, WebDAV, CIFS

– Varnostni mehanizmi: KRB5, X509, SharedSecret, unix

9

Gregor Molan

Primerjava EOS : HDFS

• Hadoop – integrirani sistem:

– Hadoop Distributed File System (HDFS)

– MapReduce

• EOS

– Čisti podatkovni sistem

– Neodvisen sistem ločen od sistema za računanje s podatki

• EOS omogoča

– Hiter dostop in hitro računanje

– Neodvisne menjave in posodobitve računskih sistemov

10

Gregor Molan

Časovnica projekta

11

Gregor Molan

CERN: Delujoči podatkovni sistem EOS

12

EOS: Prostor za izvorne podatke LHC eksperimentov v Cernu

2 1240

150 270

1

10

100

1000

2010 2012 2014 2016 2018

PB

Gregor Molan

Projekt produktizacije za 2018-2019

• Geo-scheduling PoC na konteinerjih

File Servers

With GEOTAG

eos-fst{1..N}

Namespace

eos-mgm

Messaging

eos-mq

13

Gregor Molan

Nadaljnji plani sodelovanja EOS

SWAN

EOS

CERNBox

File StorageServers

scale-out storageManagement Node

CERNBoxGateway

…

JupyterHubCVMFS Client

EOS Fuse Mount Single-user

Jupyter Server

CERNBox

Synchronization and Sharing

Open Sourcedisk-based storage

Interactive Notebooksin a Browser

14

Gregor Molan

C. Data Box

15

Gregor Molan

Comtrade Data Box

› Popolna rešitev za podatke

› EOS + Strojna oprema + Podpora

› Visoka zanesljivost in

razpoložljivost

› Nizka latenca – pomembna mera

› Največji diskovni sistem:

› 270 PB

› Popolna razširljivost

› Ni realnih omejitev (270 PB)

› Trenutni status› Predlog za konfiguracijo

› Študij možnosti komercializacije

› Definicija odprtokodnih licenc

› Pričakovan datum produkta

› Konec leta 2019

16

Gregor Molan

Comtrade Data Box

› Comtrade Data Box SN (Single-Node)

› Vstopni model. Samo ena komponenta, ki omogoča visoko zanesljivost

› Comtrade Data Box MGM

› Komponenta za upravljanje s podatki pri Data Boxrešitvi.

› Comtrade Data Box FST

› Podatkovni del Data Box rešitve.

› Comtrade Data Box MQ

› QuarkDB podatkovna zbirka za pohitritev dela s seznamom datotek.

17

Gregor Molan

Comtrade Data Box

Dimenzije 4-dimenzionalne kocke:

› Razširljiva kapaciteta› Dodamo novi Data Box FST in povečamo velikost

› Razširljiva latenca› Dodamo novi Data Box FST v sistem RAID 6

› Razširljiva razpoložljivost› Dodamo novi Data Box MGM ni novi Data Box FSTs na isto “Geo Lokacijo”

› Razširljiva zanesljivost› Dodamo novi Data Box MGM in novi Data Box FSTs na novo “Geo Lokacijo”

Rešitev za visoko zanesljivo prostorsko neomejeno diskovno polje

18

Gregor Molan

Comtrade Data Box

Dodatne razširljivosti 4-dimenzionalne kocke:

› Razširljiv pretok› Dodamo novi Data Box MGM in povečamo pretok

› Visoka zanesljivost› Spremenimo datotečni sistem (file layout) v “Archive”

› Visoka zanesljivost› Spremenimo datotečni sistem (file layout) v “Replica”

Data Box = Visoko prilagodljivo diskovno polje

19

20