- 66 -

資 料 中 心 與 儲 存

由於虛擬化及分散式檔案系統等軟體技術之進步，除傳統儲存大廠外，新興的虛擬化及雲端產業

應用在應對軟體定義儲存之議題時，也有各自的做法。隨著企業大量使用虛擬化在他們的運算環

境，資料量大量成長，管理難度同時也大幅增加，各虛擬化廠商們自然開始思考是否能將更多

的功能透過其虛擬化的平台來實現， VMware，就是其中一個最顯著的例子。在觀察其軟體定義的資料中心整體方案布局，雖然仍以運算虛擬化產品為其主要的運作基礎，其功能延伸到了網

路虛擬化及儲存虛擬化以及私有雲管理等面向。其中在儲存虛擬化推出的 VMware Virtual SAN (VSAN)，便是一套在虛擬管理平台上融合儲存管理軟體，可針對安裝在伺服器上的 SSD快閃記憶體及硬碟等進行抽象化及集中化。如此一來便可在 vSphere虛擬化作業環境中，構建由軟體定義的共用儲存空間。本文就目前業界的幾個主要軟體及服務供應商提出的軟體定義儲存方案進行

討論及分析。

儲存虛擬化軟體技術剖析

本文主要將談到下列幾種軟體定義的儲存方案：

1. 由虛擬化平台 (Hypervisor)提供的虛擬化儲存

於虛擬化作業環境中，利用虛擬化平台（VMware，

Openstack等）提供的 API或功能模組，將儲存控

制功能附加到虛擬化管理平台中，進一步管理附加

在實體伺服器上的儲存空間，提供儲存管理能力。

2. 基於分散式檔案系統衍生的軟體方案

以軟體形式建構在分散式檔案系統上，為許多開

源平台所使用，其中以 SUN的 ZFS為市場上常見

的產品所採用，另外還包含如 RedHat之 Ceph及

Hadoop之 HDFS等。

3. 其他軟體方案

如 EMC之 ScaleIO等，則是利用虛擬機方式建構

一組組的虛擬儲存伺服器 (通常以三台為一組 )提

供類似儲存設備之功能及可靠度，而公有雲供應商

如 Amazon之 S3以及 Dropbox等則為利用物件方

式 (Object)儲存而非常見的 Block或檔案形式。

以下對以上三種軟體定義儲存進行分析及比較。

一、 由虛擬化平台 (Hypervisor)提供

的虛擬化儲存

VMware在 vSphere 5.5中首次引入了 Virtual SAN

技術，邁出儲存虛擬的第一步。VSAN將 vSphere

叢集中的主機磁碟聚集起來，然後創建一個分散式

的共用儲存空間，可在 vCenter中快速調配儲存空

間，作為虛擬化管理和佈署的一部分。

VSAN儲存虛擬層位於應用程式和基礎架構之間的

交會處，可平衡應用程式所需要的所有 IT 資源，包

括運算、記憶體、網路和儲存空間，以滿足虛擬化

應用程式的需求、做出智慧的配置決定，並將其最

佳化。在 VMware SDS 模式中，控制平台可扮演應

用程式和基礎架構之間的橋樑，在不同的儲存層之

間提供標準化的管理及自動化。透過 SDS，由軟體

政策完全控制邏輯實體，提供自動化大規模佈建，

並能動態控制虛擬機服務層級，確保應用程式在生

命週期內的法規符合性。

蕭宇廷

- 67 -

虛

擬

化

趨

勢

技

術

資料中心與儲存

資訊安全與防護

新世代網路應用

高效能協作溝通

DC & Storage

VMware 透過政策式儲存管理方式實作原則導向控

制，利用 vSphere Virtual Volumes 管理外部儲存裝

置 (SAN跟 NAS)，或透過 Virtual SAN 管理 x86 儲

存裝置。

VMware VSAN混合磁碟系統利用整合本機固態硬

碟作為快取，同時結合本地硬碟的叢集式資料儲存，

提供具備性能及可靠度的儲存平臺。在 VSAN 環境

中至少需要配置三台 ESXi 主機以形成一個 VMware

VSAN 群組。所有主機均透過專用的 10G網路進行

圖一 VMware SDS架構與 VSAN / VVols應用

資料同步。所有主機均需要配備硬碟及 SSD，固態

硬碟可優化主機的儲存效率，每台主機最多可形成

5 個本地磁碟群組，每個本機群組只能一個 SSD，

但最多可以有 7顆硬碟。

圖二 VSAN之硬碟配置模式

Policy-Driven Control Plane

Virtual Data Plane

Virtual Data Services

Data Protection Mobility Performance

Virtual Datastores

X86 ServersVSAN

SAN/NASvSphere Virtual Volumes

Cloud ObjectStorage

Virtual SAN Scale UPesxi-01 esxi-03esxi-02

esxi-01 esxi-03esxi-02

- 68 -

資 料 中 心 與 儲 存

VSAN運作架構也支援 Scale-Out機制，除了最初

組成的 VSAN Cluster至少必須有三台主機之外，後

續儲存空間不足時就可以逐台擴充，在 6.0的版本

將可擴充至 64個 Node且支援全 SSD儲存空間。

通過 VSAN物件儲存檔案系統 (OSFS)，所有主機

上的VMFS Volume可以合併為一個大的資料空間，

並可根據每個 Vmdk創建不同的虛擬機儲存策略。

二、 基於分散式檔案系統衍生的軟體

儲存方案

1. ZFS

ZFS的開放儲存架構，比如併入 Oracle的 Sun

Microsystems Solaris ZFS，也算軟體定義儲存的

先驅，而在眾多開源 ZFS檔案系統衍生的產品中，

NexentaStor算其中代表性的產品，可以純軟體型

式安裝，也透過 OEM方式讓許多廠商以伺服器搭

載 NexentaStor自製儲存設備。

NexentaStor是一套具備共享儲存管理等功能的儲

存軟體，系統核心是開源的 OpenSolaris，底層由

ZFS負責磁碟管理，結合儲存池概念後可統一管理

與配置，也能搭配不同功能模組提供附加應用。

由於採用純軟體部署所以有一定的硬體選擇彈性，

但要特別注意由於底層採用較少見的 OpenSolaris

許多裝置未必支援，所以在選擇硬體時需注意周邊

設備是否支援。

由於採用 Copy-on-write寫入機制，在 Snapshot

時會造成一定效能負擔，使用時必須謹慎，此外

內建進階功能包括：重複資料刪除、壓縮、Thin

provisioning、SSD第 2層快取以及針對檔案層應

用的容量配額與空間保留。

圖三 NexentaStor架構

相較於其他幾種儲存伺服器軟體，由於底層採用

ZFS，檔案系統能藉此輕易獲得許多儲存應用功能，

但相對地其開源特性也造成額外在維護或開發上的

負擔。

Client Tier

Compute Tier

Unified Management

ISCSI CIFS NFS FC

Data Storage Tier

NexentaStor on Intel servers

Commodity Storage

Unified StorageFC iSCSI SAS

- 69 -

虛

擬

化

趨

勢

技

術

資料中心與儲存

資訊安全與防護

新世代網路應用

高效能協作溝通

DC & Storage

2. Red Hat

相較於 VMware 推出於其虛擬平台中專屬的

VSAN，Red Hat則是併購了 Ceph分佈式儲存系統

廠商 Inktank，並整合原本旗下之 GlusterFS儲存產

品。Ceph是在 Openstack上的一個具擴展性之開

源軟體定義儲存系統。

(1) Ceph以單一軟體平台提供 Block、檔案和物

件三種儲存方式：

• Object：有原生 API支援Openstack Swift。

• Block：支援精簡配置、快照、克隆。

• File：Posix介面，支援快照。

(2) Ceph同時也是分散式檔案系統，具以下特點：

• 高擴展性：使用普通 x86伺服器，支援 10

到 1000台伺服器，可擴充到 PB等級。

• 高可靠性：無單點故障，多資料副本，自動

管理，自動修復。

• 高性能：資料分佈平均，不需要中繼伺服器

即支援 objects和 block storage。

(3) Ceph底層有兩個組成元件：

• OSD：Object Storage Device，提供儲存資

源給前端服務。

• Monitor：監控並維護整個Ceph群組的狀態。

Ceph中每筆資料計算 hash值後轉存到所對應的

PG邏輯資料群組中，再由 PG對映到一組 OSD，

OSD的個數由整個 Pool中規劃的副本數 (Failure

圖四 Ceph之組成元件

Domain)決定，第一個 OSD是 Primary，剩下的都

是 Replicas。

OSD

FS

DISK

OSD

FS

DISK

OSD

FS

DISK

OSD

FS

DISK

OSD

FS

DISK

btrfsxfsext4

M M M

- 70 -

資 料 中 心 與 儲 存

由此可見Ceph可提供良好的橫向擴充以及可靠度，

並支援以物件、Block以及檔案等儲存模式，功能

性最廣泛，目前以純軟體方式提供但未來可能將與

硬體廠商一同推出硬體產品。

3. HDFS

HDFS 架 構 (Hadoop Distributed File System) 為

Hadoop專用的分佈式檔案系統，其設計乃基于

Google 的 File System，它解決了許多分布式檔案

系統遇到的問題：

• 能存放極大的資料量，HDFS能夠將資料平均散

布在大量伺服器上，與其他分佈式檔案系統 (如

ZFS)相比，HDFS能夠存放更大且更多的檔案。

• 能更可靠的保存資料，HDFS使用即時資料副本

方式同時保留三份以上資料。

HDFS也具備分散式檔案系統的特點：

• 高擴展性：使用普通 x86伺服器，支援到 PB等

級以上資料量。

• 高可靠性：無單點故障，多資料副本。

• 高性能：資料分佈最平均，效能最好。

HDFS設計概念為：以平均機率方式將資料分散儲

存在 HDFS資料儲存單元 Datanode中以提高存取

效率，HDFS的資料至少都會有 3 份 Replication

副本存放於不同主機上，在 Hadoop把檔案寫入時

會把檔案切割成固定大小的 block分散存到不同的

Datanode中，而由於每個檔案都是跨實體存放，

因此可視為一個分散式邏輯化的虛擬檔案系統，

Namenode則扮演 Linux檔案系統中 inode的角

色，因此它知道組成某個檔案的所有 block位在哪

些 Datanode中。

圖五 Ceph之分散式資料架構圖

File

Objects

PGs

(ino,ono)→ oid

hash (oid) & mask→ pgid

CRUSH (pgid)→ (osd1,osd2)

OSDs(grouped byfailure domain)

- 71 -

虛

擬

化

趨

勢

技

術

資料中心與儲存

資訊安全與防護

新世代網路應用

高效能協作溝通

DC & Storage

HDFS最大的特性之一就是對副本位置的優化，這

對其可靠性和性能非常重要。複製 Block副本時

NameNode會做相關的所有決定，同時每 3秒接

收 各 DataNode 的 Heartbeat 以 及 Block Monitor

以確保整體功能運作正常，同時驗證 DataNode上

Block列表與 NameNode中的紀錄是否一致，另

外為提昇 HDFS存取效能尤其是讀取速度，HDFS

在存資料時必須將資料根據機率性平均分佈在所有

cluster的 DataNode硬碟中，存取時就可以平行分

散以提高整體效能。

在開放式的分散儲存及檔案系統中，ZFS是相對簡

單的方案，也較為適合一般企業客戶所使用，但因

其先天的侷限性，在企業中關鍵應用的使用率並不

是太高。而就 Ceph及 HDFS來說，其性能在單一

主機情況下雖不如傳統的磁碟陣列，因為這兩者的

I/O路徑較為複雜，導致效率下降。但同時其優勢

在於它的擴展性，性能會隨著磁碟數量線性增長，

因此在多主機的情況下，兩者的 IOPS和吞吐率會

高於磁碟儲存陣列。

如前所述，由於 HDFS僅限於 Hadoop運算環境，

因此 Ceph優勢較顯著，運用範圍也更廣，使用它

能夠降低硬體成本和維運成本，但它的複雜性會帶

來一定的學習成本。Ceph的特點使得它非常適合

於雲計算，許多 OpenStack平台會考慮使用 Ceph

作為新一代的儲存方案。

三、 其他軟體方案

近年來還有許多使用純軟體方式提供的虛擬化儲

存系統，而大多較成功的新創虛擬化儲存公司均

已被大廠所收購，如已被ＥＭＣ收購之 ScaleIO，

被 Red Hat收購之 GlusterFS，及被 VMware收購

之 Virsto等，此類產品為符合無法建置外掛分享儲

存陣列時之低價儲存需求而衍生之虛擬化儲存伺服

器。

這樣的概念可將伺服器內的磁碟空間，轉化為

LUN，透過 iSCSI或 FCP掛給 VMware主機使用。

亦可利用 Raw Device Mapping模式將 LUN掛載

給上層的虛擬機器。同時可分享 NFS協定之儲存空

圖六 HDFS之各元件結構圖

Client Name Node

Backup Name Node

SecondaryNameNode

Rack

Data Node

Data Node

Data Node

Rack

Data Node

Data Node

Data Node

Rack

Data Node

Data Node

Data Node

- 72 -

資 料 中 心 與 儲 存

間存放 VMDK檔案。唯其是使用虛擬機的概念，在

伺服器資源及網路頻寬不足之時，將嚴重影響儲存

效能。

目前較成熟的此類型方案如 EMC併購的 ScaleIO；

ScaleIO的虛擬化技術叫 ECS，該技術可利用多台

伺服器構建一個可擴展的檔案系統。在伺服器上建

立一個邏輯化的 Virtual SAN，建置 ScaleIO至少要

三台 SDS伺服器，該系統主要由硬體和軟體二部分

組成：

• 硬體：包含節點或伺服器安裝執行 ScaleIO之作

業系統，包含 Linux CentOS、Linux Red Hat、

VMware ESX 和 Citrix XenServer。支援的儲存

裝置包括 HDD、SSD、PCIe Flash卡，也支援

DAS或者外接儲存。

• 軟體：Meta Data Manager (MDM)用於配置和

監控 ScaleIO系統，ScaleIO Data Server (SDS)

用於管理單個伺服器的容量供前端資料存取，

ScaleIO Data Client (SDC)則是一個輕型的前端

代理程式。

圖七 EMC ScaleIO軟體元件架構

ScaleIO同樣具備儲存池的概念，儲存池隸屬

Protection Domain進行管理，每組 SDS都可建

立一個 Protection Domain群組，不同種類實體磁

碟再加入各自的儲存池中後將被歸屬到 Protection

Domain之中進行統一管理。

結語

軟體系統定義的 SDS最大的特點在於其安裝的自由

度較高，也較無特定的硬體依賴性，但同樣因為其

軟體特性，造成效能瓶頸常會出現在伺服器端以及

資料同步交換網路的頻寬及穩定性，如 VMware的

VSAN就建議提供 10Gb網路作為資料交換專用，

其他方案亦然，若企業本身不具備 10Gb儲存骨幹

網路時，其效能將倍受影響。

若以功能性進行區分，VSAN為 VMware專屬之虛

擬化儲存架構，其利用本地 SSD快取之特性，對於

虛擬桌面環境有極大的效能及成本效益；而由 ZFS

衍生之儲存軟體以及新型虛擬化儲存軟體則由於本

身系統以及效能限制，目前仍建議在小規模環境以

及測試環境中使用；而在分散式檔案系統中之，

VirtualizationSAN Layer

Application

SDC

SDS

Application

SDC

SDS

Application

SDC

SDS

PrimaryMDM

SecondaryMDM

TieBreaker

- 73 -

虛

擬

化

趨

勢

技

術

資料中心與儲存

資訊安全與防護

新世代網路應用

高效能協作溝通

DC & Storage

Ceph及 HDFS則適用於提供雲服務環境以及巨量

資料運算之用途；Ceph勝在其架構上運用環境廣

泛，而 HDFS則勝在處理效能，兩者均需要足夠數

量的節點方能彰顯其可靠性及效能上之特長，在一

篇針對分散式檔案系統之學術論文中針對 HDFS、

Ceph及GlusterFS的讀取及寫入測試中不難看出，

HDFS在效能上的確具有優勢。

因此，企業用戶應就自身的服務需求及本身架構特

圖十 HDFS、Ceph及 GlusterFS讀取效能比較

圖十一 HDFS、Ceph及 GlusterFS寫入效能比較

性挑選適合的軟體式 SDS方案。

(作者現任職於麟瑞科技)

參考文件：

1. 來自各原廠網站及論壇

2. 學術論文：Implementation of a Software-Defined Storage Service with Heterogeneous Storage Technologies

2500

2000

1500

1000

500

0

GlusterFS

Ceph

Hadoop

Ru

n t

ime(

s)

1MB

2MB

4MB

8MB

16MB

32MB

64MB

256M

B

128M

B

512M

B

16GB

8GB

4GB

2GB

1GB

File size

2500

2000

1500

1000

500

0

Ru

n t

ime(

s)

GlusterFS

Ceph

Hadoop

File size

10MB

20MB

30MB

40MB

50MB

60MB

70MB

80MB

90MB

100M

B