produktizacija sistema cern eos · 2019-04-26 · gregor molan comtrade data box dimenzije...
TRANSCRIPT
Produktizacija sistema CERN EOSGregor Molan ([email protected], [email protected])
Gregor Molan
Vsebina
A. Comtrade: CERN openlab member
B. CERN EOS podatkovni sistem
C. Data Box
2
Gregor Molan
A. Comtrade: CERN openlab member
3
Gregor Molan
CERN openlab
CERN openlab je javno-privatno partnerstvo, ki omogoča sodelovanje med CERN-om in vodilnimi IKT podjetij in raziskovalnim organizacijam.
4
Gregor Molan
CERN openlab
Google, Micron, Huawei, Intel, Siemens, Oracle, be-studys, IBM, E4, Extreme Networks, Rackspace, Comtrade, Open Systems
5
Gregor Molan
CERN openlab Phase V
Družba Comtrade se je pridružila CERN openlab v peti fazi (Phase V) leta 2015
6
Gregor Molan
Faze sodelovanja v CERN openlab
1. Faza: 2015-2016
• Pridobivanje znanja o sistemu CERN EOS
• Razvoj instalacije za EOS
2. Faza: 2016-2017
• Integracija Comtradovih inženirjev v CERN-ove ekipe
• Robustna instalacija: hitra postavitev EOS-a
• Nadaljevanje razvoja, testiranje in dokumentacija
3. Faza: 2017-2019
• Prenos znanja in izkušenj med CERN-om in Comtradom
• Posodobljena dokumentacija za EOS
• Potrditev koncepta (Proof of concept) za nove funkcionalnosti
7
Gregor Molan
B. CERN EOS podatkovni sistem
8
Gregor Molan
Kaj je EOS?
• Odprtokodni sistem
– https://github.com/cern-eos/eos
– https://eos.web.cern.ch/
• Lastnosti:
– Elastičnost, prilagodljivost, nadgradljivost (scalability)
– Zapis podatkov, možnost obdelave, analiza uporabnikov
– Podpora več tisoč odjemalcev
– Različni protokoli: HTTP, WebDAV, CIFS
– Varnostni mehanizmi: KRB5, X509, SharedSecret, unix
9
Gregor Molan
Primerjava EOS : HDFS
• Hadoop – integrirani sistem:
– Hadoop Distributed File System (HDFS)
– MapReduce
• EOS
– Čisti podatkovni sistem
– Neodvisen sistem ločen od sistema za računanje s podatki
• EOS omogoča
– Hiter dostop in hitro računanje
– Neodvisne menjave in posodobitve računskih sistemov
10
Gregor Molan
Časovnica projekta
11
Gregor Molan
CERN: Delujoči podatkovni sistem EOS
12
EOS: Prostor za izvorne podatke LHC eksperimentov v Cernu
2 1240
150 270
1
10
100
1000
2010 2012 2014 2016 2018
PB
Gregor Molan
Projekt produktizacije za 2018-2019
• Geo-scheduling PoC na konteinerjih
File Servers
With GEOTAG
eos-fst{1..N}
Namespace
eos-mgm
Messaging
eos-mq
13
Gregor Molan
Nadaljnji plani sodelovanja EOS
SWAN
EOS
CERNBox
File StorageServers
scale-out storageManagement Node
CERNBoxGateway
…
JupyterHubCVMFS Client
EOS Fuse Mount Single-user
Jupyter Server
CERNBox
Synchronization and Sharing
Open Sourcedisk-based storage
Interactive Notebooksin a Browser
14
Gregor Molan
C. Data Box
15
Gregor Molan
Comtrade Data Box
› Popolna rešitev za podatke
› EOS + Strojna oprema + Podpora
› Visoka zanesljivost in
razpoložljivost
› Nizka latenca – pomembna mera
› Največji diskovni sistem:
› 270 PB
› Popolna razširljivost
› Ni realnih omejitev (270 PB)
› Trenutni status› Predlog za konfiguracijo
› Študij možnosti komercializacije
› Definicija odprtokodnih licenc
› Pričakovan datum produkta
› Konec leta 2019
16
Gregor Molan
Comtrade Data Box
› Comtrade Data Box SN (Single-Node)
› Vstopni model. Samo ena komponenta, ki omogoča visoko zanesljivost
› Comtrade Data Box MGM
› Komponenta za upravljanje s podatki pri Data Boxrešitvi.
› Comtrade Data Box FST
› Podatkovni del Data Box rešitve.
› Comtrade Data Box MQ
› QuarkDB podatkovna zbirka za pohitritev dela s seznamom datotek.
17
Gregor Molan
Comtrade Data Box
Dimenzije 4-dimenzionalne kocke:
› Razširljiva kapaciteta› Dodamo novi Data Box FST in povečamo velikost
› Razširljiva latenca› Dodamo novi Data Box FST v sistem RAID 6
› Razširljiva razpoložljivost› Dodamo novi Data Box MGM ni novi Data Box FSTs na isto “Geo Lokacijo”
› Razširljiva zanesljivost› Dodamo novi Data Box MGM in novi Data Box FSTs na novo “Geo Lokacijo”
Rešitev za visoko zanesljivo prostorsko neomejeno diskovno polje
18
Gregor Molan
Comtrade Data Box
Dodatne razširljivosti 4-dimenzionalne kocke:
› Razširljiv pretok› Dodamo novi Data Box MGM in povečamo pretok
› Visoka zanesljivost› Spremenimo datotečni sistem (file layout) v “Archive”
› Visoka zanesljivost› Spremenimo datotečni sistem (file layout) v “Replica”
Data Box = Visoko prilagodljivo diskovno polje
19
20