Опыт построения СХД на базе windows server для использования...
TRANSCRIPT
Высокопроизводительная СХД на базе Windows Server для использования в публичном облаке компании DataLineСергей Груздов
.
• Сервис-провайдер
• Собственные датацентры
• Колокейшн
• Услуги публичного облака
ВВЕДЕНИЕ• ЧТО ТАКОЕ SDS
• ПОЧЕМУ SDS• Независимость от производителя оборудования• Использование имеющегося оборудования
ПРОГРАММНО-АППАРАТНЫЕ РЕШЕНИЯ• HP P4000 (LeftHand)• EMC Evo-Rail• Nutanix• Cluster-In-Box
ПРОГРАММНЫЕ РЕШЕНИЯРешение Протоколы ROCE Резервирование
VSAN ISCSI/NFS/CIFS - RAIN
CEPH ISCSI/NFS/CIFS - RAIN
HP P4000 ISCSI/NFS/CIFS RAIN
EMC ScaleIO ISCSI/NFS/CIFS - RAIN
Starwind SAN ISCSI - RAIN
Storage Spaces ISCSI/NFS/CIFS/SMB3 + (SMB Direct) RAID
Storage Spaces Direct ISCSI/NFS/CIFS/SMB3 + (SMB Direct) RAIN
ПОСТРОЕНИЕ ПУБЛИЧНОГО ОБЛАКА• ПАРТНЕРСКАЯ ПРОГРАММА COSN
• Референсная архитектура
АРХИТЕКТУРА РЕШЕНИЯ
Управляющий кластер2 узла DELL PowerEdge R730
Сетевой кластер2 узла DELL PowerEdge R730
Вычислительный кластер14 узлов DELL PowerEdge R820
АРХИТЕКТУРА РЕШЕНИЯХранилище
2 JBOD DELL PowerVault MD3060eSSD/SATA SSD/SATA
СХД на основе Windows Storage Spaces(Scale-Out File Server)
2 узла DELL PowerEdge R730
АРХИТЕКТУРА STORAGE SPACES
Cluster Nodes
SAS JBOD
Storage Spaces Storage Pool
Storage Spaces Virtual Disks
Cluster Shared Volumes
NTFS/ReFS On-Disk File System
ОРГАНИЗАЦИЯ ХРАНЕНИЯ• Уровни хранилища
• Кэш• Виды кэшей
ОПТИМИЗАЦИЯ STORAGE TIERS И КЭШ
SSD Tier(и Write-Back кэш)
Storage Space
HDD Tier
«Горячие»данные
«Холодные»данные
СЕТЕВОЕ ВЗАИМОДЕЙСТВИЕ• Оптимизация сетевых настроек• SMB Multichannel• ROCE (Rdma Over Converged Ethernet)• DataCenter Bridging
SMВ DIRECTClientFile Storage
SMB Server SMB Client
Transport Protocol Driver
Transport Protocol Driver
NIC Driver NIC Driver
NIC
Application AppBuffer
SMBBuffer
SMBBuffer
OSBuffer
OSBuffer
DriverBuffer
DriverBuffer
AdapterBuffer NIC Adapter
Buffer
w/o RDMAFile Storage Client
SMB Server SMB Client
Transport Protocol Driver
Transport Protocol Driver
NIC Driver NIC Driver
NIC
Application AppBuffer
SMBBuffer
SMBBuffer
OSBuffer
OSBuffer
DriverBuffer
DriverBuffer
AdapterBuffer NIC Adapter
BufferRoCE
with RDMA
ПОДВОДНЫЕ КАМНИ• Прошивки• Исправление неявных проблем
• Логический/физический сектор• Существующие типы дисков
• Native 512 (512/512)• 512e (512/4096)• Native 4K (4096/4096)
• Пул с дисками разного типа
СООТНОШЕНИЕ РАЗМЕРА СЕКТОРОВ
HDD 512e (512/4096)
Volume 4K (4096/4096)
Virtual Disk 512e (512/4096)
ПОЛИТИКА RMW(Read-Modify-Write)
4K Physical Sector
512 512 512 512 512 512 512 512Считывание 4К
физического сектора с носителя в кэш.1
4K Physical Sector
512512512512512512512 512 2 Обновление 512-байтного логического сектора в кэше.
4K Physical Sector
512512512512512512512 512 3 Перезапись 4К физического сектора на носителе.
НЕДОСТАТКИ РЕШЕНИЯ• Сложность настройки
• Однопоточная дедупликация
• Отсутствие ребалансировки
• Масштабирование
ГИБРИДНОЕ SDS• Реализация
АРХИТЕКТУРА STORAGE SPACES DIRECT
Storage Spaces Storage Pool
Storage Spaces Virtual Disks
Cluster Shared Volume
Software Storage Bus
ReFS On-Disk File System
РЕЗЕРВИРОВАНИЕ ДАННЫХ
Extent A Extent B Extent C
Virtual Disk Extents
Server E
A’’
Server B
A’B
Server C
B’C
Server D
B’’C’
Server A
A C’’
ИЗМЕНЕНИЯ• Простота настройки
• Многопоточная дедупликация
• Различные сценарии
• Гибкое масштабирование
• Mutliresilence Virtual Disks
СРАВНЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИРешение Чтение Запись
Storage Spaces (до) 800 Mb/s 100 Mb/s
Storage Spaces Direct 2 Gb/s 1 Gb/s
Storage Spaces (после) 3 Gb/s 1 Gb/s
ЗаключениеСергей Груздов [email protected] [email protected]