Download - Onet barcamp 4 - Cloud Storage
Cloud Storageczyli gdzie są moje pliki?
1
IOPS… IOPS…
IOPS!!!
• >1 000 serwerów• >100 000 połączeń• >1 000 000 użytkowników• >100 000 000 małych plików
(„obrazki”)
2
HISTORIA / ZARYSOd mainframe’ów do chmury
3
Mainframe
Wszystkie usługi na jednej mocnej
maszynie
www
ftp
dns
4
Klastry
www ww
w www ww
w
5
– wspólny storage
ONET Cloud
VM
VM VM
VMVM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VMVM
VM
VM
VM
VM
VMVM
VM
VMVM
VM
VMVM`
VMVM
VMVM
VM
VM
VMVM
VM
VM
VMVM
VMVM
VM
VM
VMVM
VM
VM
6
Macierze NAS7
Wydajność NAS
Controler Controler
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
nfssmbiscsi
8
ROZWIĄZANIESystemy rozproszone
http://commons.wikimedia.org/wiki/File:Liofilizat_04_pl.jpg
9
Od najdroższych…
Controler Controler
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
RAID1 2 3 4
µControler
µControler
µControler
µControler
10
… do wszystkiego
Controler Controler
1 2 3 4 1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4
1 2 3 4 1 2 3 4
11
Sprzęt…12
… i software
• Rozpraszanie danych• Skalowalność• Odporność na awarie• Brak punktów
centralnych
13
JAK TO DZIAŁA?http://wallpaperbackgrounds.com/wallpaper/30711
14
Mapa Data Center #1
Rzą
d C
Serwer
Serwer
Serwer
SzafaSerwer
Serwer
Serwer
SzafaSerwer
Serwer
Serwer
Szafa
Rzą
d B
Serwer
Serwer
Serwer
SzafaSerwer
Serwer
Serwer
SzafaSerwer
Serwer
Serwer
Szafa
Rzą
d A
Serwer
Serwer
Serwer
SzafaSerwer
Serwer
Serwer
SzafaSerwer
Serwer
Serwer
Szafa
1 2 3 4
1 2 3 4
1 2 3 4
Serwer1 2 3 4
1 2 3 4
1 2 3 4
Serwer1 2 3 4
1 2 3 4
1 2 3 4
Serwer
Serwer
Serwer
Serwer
Serwer
Serwer
1 2 3 4
1 2 3 4
1 2 3 4
Serwer1 2 3 4
1 2 3 4
1 2 3 4
Serwer1 2 3 4
1 2 3 4
1 2 3 4
Serwer
Serwer
Serwer
Serwer
Serwer
Serwer
1 2 3 4
1 2 3 4
1 2 3 4
Serwer1 2 3 4
1 2 3 4
1 2 3 4
Serwer1 2 3 4
1 2 3 4
1 2 3 4
15
Data Center #1
Rząd A
Serwer
Szafa 1
Mapa
Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer
Szafa 2 Szafa 3
16
Algorytm CRUSH
CRUSH (fragment_pliku, mapa) -> dyskA, dyskB, dyskC
Plik
dysk10 dysk11 dysk12
dysk7 dysk8 dysk9
dysk4 dysk5 dysk6
dysk1 dysk2 dysk3
17
Awaria
CRUSH (fragment_pliku, nowa_mapa) -> dyskA, dyskB, dyskD
Plik
dysk10 dysk11 dysk12
dysk7 dysk8 dysk9
dysk4 dysk5 dysk6
dysk1 dysk2 dysk3
18
Data Center #1
Rząd A
Serwer
Szafa 1
3 x kopie danych
Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer
Szafa 2 Szafa 3
KOPIA #1 KOPIA #2
3x
KOPIA #3
19
Usługi
Swift
20
21
CEPH W ONETczyli nasze doświadczenia
Nasze klastry
x 2
22
x 2
Doświadczenia
• > 1 000 000 plików => sharding
• Synchronizacja DC• Automatyzacja • Problemy z rozkładem• Wolne "zbieranie się
konsystencji„
23
http://commons.wikimedia.org/wiki/File:Berlin_Alexanderplatz_construction_cranes.jpg
BUDUJEMY NADAL…… bo nam ciągle mało :-)
24
Rozwój
• Spójne, duże klastry• Nowy sprzęt • Testy wydajności• Nowe usługi• SLA i QoS• Migracja Video - wyzwanie
25
PODSUMUJMY…
http://www.hdwallpapersfull.com/view-fresh-cherry-fruits-1920x1200.html
26
Podsumowanie
• Wyzwaniem jest wydajność (IOPS), a nie pojemność
• Macierze NAS są drogie i słabo się skalują• Alternatywą jest storage rozproszony• CEPH to przykład takiego systemu• W Onet używamy go produkcyjnie• I nadal rozwijamy nasze klastry
?28