windows server 2012 のストレージ強化とエンタープライズへの活用

Windows Server 2012 のストレージ強化とエンタープライズへの活用

小川大地Microsoft MVP for Virtual Machine

日本ヒューレット・パッカード

2

自己紹介

• 氏名：小川大地（Daichi Ogawa）

• 仕事：サーバー・テクノロジーの啓蒙と、システム設計・実提案

（今日は Hyper-V の MVP として呼ばれたので、会社は無関係です）

• Blog：仮想化でプリセールスしてる SE の一日

http://d.hatena.ne.jp/ogawad/

http://d.hatena.ne.jp/ogawad/

3

本セッションのキーポイント

Storage• Windows Server 2012 ストレージ周りの新機能

Hardware• 最新のハードウェア・テクノロジーで実現する WS2012 の新機能

Enterprise• WS2012 や Hyper-V の最新技術をエンタープライズ分野でどう使っていくか？

サービスファイルシステムサービスファイルシステム

4

Windows Server 2012 の主なストレージ新技術

ディスク

記憶域プール - Storage Spaces

5

複数の LUN を組み合わせて “巨大なディスク” として利用

ローカルディスク（HDD / SSD）

USB ドライブ（HDD / SSD）

SAN ストレージ（FC / iSCSI / Shared SAS）

複数の LUN を組み合わせて”巨大なディスク” として利用

2 TB 10 TB 500 GB

マウントされたVHD / VHDX ファイル


6

主な機能①

LVM と同様な三層管理

• 物理ディスク / プール / 仮想ディスク

基本概念は LVM と同じ

プール化

物理ディスク(LUN)

記憶域プール(Storage Pool)

仮想ディスク(Storage Spaces)

≒ LV

≒ VG

≒ PV

≒ VG

≒ LV ≒ PV


7

主な機能②

RAID

• Simple … RAID 0 相当

• Parity … RAID 5 相当

• Mirror … 2-way（ディスク 2 本以上で構成可能）

… 3-way（ディスク 5 本以上で構成可能）

冗長化

Thin Provisioning

• 固定 … シック・プロビジョニング

• 最小限 … シン・プロビジョニング

• シンプロビジョニングはT10 UNMAP (Trim) にも対応

シンプロビジョニング

LUN Size

100TB ?

実際の消費量だけ物理ディスクを確保できれば良い


8

主な機能③

物理ディスクのオンライン増設・削除

• コストを抑えた初期導入を実現

• 10TB 割り当てておきたいけど、コストが足りない…

→ シンプロビジョニングを活用し、本当に足りなくなったら、都度増設すれば良い

その他の特徴

Windows 2000 ダイナミックディスクとの違い

• シンプロビジョニングやディスク増設/削除が可能

• カーネルモードのミニポートドライバで動作（spaceport.sys）

• 割り振ったディスクは「LUN」として OS から扱える

• ファイルシステムの種類や機能を制限しない

4 TB 6 TB

2 TB互換性など

• LUN レイヤであるためファイルシステムに一切制限を与えない

• SAN の LUN であればクラスタディスクにも対応（CSV含む）

• 4KiB セクタ HDD は、ネイティブ / RMW の両方に対応


9

どんなシーンで活用できるか？

退役 PC の HDD を利用した大容量ドライブ

BOX 型簡易 NAS からの卒業

エントリー SAN ストレージを無償で機能強化

ファイルシステムディスクサービスサービスディスク

10


NTFS の新機能① ディスクをアンマウントして CHKDSK はもう不要

WS2012 ではオンライン破損スキャンと自己修復が強化。

破損ファイルの修復 (spotfix) は通常 1 秒以内で処理できるほか処理時にボリュームの全スキャンが掛からないため、ファイル数にも依存しない。

従来、ファイルシステム上で自己修復できない破損ファイルがあった場合は、「CHKDSK /X」によるボリュームのアンマウントと全スキャンが必要。

このため、破損ボリューム上のファイル数次第では、非常に長時間のダウンタイムを強いられた…

0

50

100

150

200

250

300

350

100

Million

Files

200

Million

Files

300

Million

Files

Min

ute

s Windows

Server 2008 R2

Windows

Server 2012

ファイルシステム修復に要するダウンタイム

Microsoft 社資料より

11

NTFS の新機能② データ重複除去

ファイルデータを可変サイズの “チャンク” に分割管理定期的に重複チャンクを統合（場合によっては圧縮も）して、ディスク容量を削減

待望の “ブロックレベル” 重複排除

• 本格的な NAS ストレージと同様にチャンク単位で重複排除

• 従来の SIS や NTFS 圧縮に比べて容量効率が良く、性能へのインパクトも少ない

• 統合により削除された領域は T10 UNMAP に対応

データ重複除去の削減効果（例）

一般的な文書共有用途では50% の容量削減を期待できる

12

NTFS の新機能② データ重複除去

設定画面

重複排除は一定期間経過したファイルが対象

拡張子指定による対象外ファイルも設定可能

業務影響を抑えるためにアイドル時のみ実施

休日や夜間は処理優先度を上げることも可能

13

ReFS - Resilient File System次世代ファイルシステム

14

ReFS - Resilient File System

15

主な機能①

NTFS の欠点

• 書換方式なため、ファイル上書きでデータ消失の危険性

ReFS の場合

• 切替方式なため、障害時もデータ消失のリスクは無い

サーバー障害発生！

上書き中のファイル（書き換え方式）

中途半端な破損ファイルでコピー前のデータすら読み出せない

新しいデータを書き込み中

古いデータはそのまま待機

古いデータ領域には非利用フラグが立てられる

新しいデータに切り替え

ファイル整合性ストリーム *

* データベースなど、格納アドレスを意識するアプリケーションのために無効化することも可能


16

主な機能②

記憶域プールとの連携

• ミラーボリュームを利用して、ファイルシステムの論理破損ブロックを自動修復

オンライン破損スキャンと自動修復

• オンライン破損スキャンと自動修復は ReFS にも対応

• 「CHKDSK /X」なしで破損データをオンライン除去

ファイルシステム的に不正な領域をブロック単位で自動修復

データの自動修復と互換性

破損ブロック正常ブロック

既存機能との互換性

• 次ページを除く NTFS 機能と Win32 API のサポート

• NTFS と同等以上のスケーラビリティと性能

• WSFC クラスタボリューム対応（CSV は非対応）

• VSS, ブロックレベル暗号化（BitLocker）サポート

ミラーモード


17

パフォーマンス

NTFS (64KB)

NTFS と ReFS の性能比較（簡易版）

ReFS (64KB*) *ReFS のアロケーションユニットは 64KB のみ

512 KB はReFS の方が得意？


18

制約事項

サポートされない機能

サーバーのデータドライブのみの対応

• ブートドライブ（Cドライブ）は非対応

• USB フラッシュなどの「リムーバブルディスク」は非対応

• Windows 8（次期デスクトップOS）には搭載されない

CSV（クラスタ共有ボリューム）は非サポート

• CSV は NTFS のみのサポートなので注意

NTFS にあって ReFS に無い機能

• 名前付きストリーム、オブジェクト ID、短い名前

• 圧縮、ファイルレベル暗号化（EFS）、拡張属性、スパース

• ユーザーデータトランザクション、ハードリンク、クォータ

• データ重複除去** WS2012 からの新機能


19


機能重視なら NTFS, 堅牢性なら ReFS

NTFS と ReFS で性能差はほとんど無い

バックアップキャッシュ付き RAID の無い環境

ファイルシステムディスクファイルシステムディスク

20


サービス

ファイルサービス

21

レイヤのおさらい

記憶域プール RAID

Thick Thin

NTFS ReFS

オンライン破損スキャンと自己修復

重複除去CSVv2 整合性

iSCSI NFS 4.1 SMB 3.0

WSFC フェイルオーバークラスター

サービス

ファイルシステム

ディスク

iSCSI と NFS

22

汎用性の高い本格ストレージとして

「iSCSI Software Target」を統合

• サーバーマネージャーと GUI 統合し、シームレスな管理

iSCSI（ブロック・ストレージ）

本格的な SAN ストレージを実現

• 下位レイヤの技術との併用で本格的なストレージに

• 記憶域プール（RAID, Thin Provisioning）

• 重複排除、WSFC クラスタ対応

• 差分ディスク機能

• iPXE 対応ディスクレス・ネットブートソリューション

• 1 GbE で 60 台に対応

• 10 GbE の場合、256 台の初期デプロイを34 分で完了*

* Microsoft 社資料より

iSCSI と NFS

23

汎用性の高い本格ストレージとして

NFS 4.1 に対応

• 同じ領域へのSMB 3.0 / NFS 4.1

同時アクセスも可能

• Kerberos v5

• VSS スナップショット

• RFC-2307 準拠ID マッピング

NFS 4.1（ネットワーク・ストレージ）

本格的な NAS ストレージを実現

• 下位レイヤの技術との併用で本格的なストレージに

• 記憶域プール（RAID, Thin Provisioning）

• 重複排除、WSFC クラスタ対応

• VMware Certified

SMB 3.0

24

ファイル共有に最適化された SMB/CIFS は着実に進化

SMB 1.0

1990 年代 2006 年

SMB 2.0

• パイプライン機構によるパケット通信量の削減

• バッファサイズの拡大

• スケーラビリティの向上

• 切断時の透過的再接続

• シンボリックリンク

2009 年

SMB 2.1

• 動的キャッシュの改善

• MTU サイズの拡大（最大 64KB → 1MB）

• 切断時のセッション保持

• スリープモード対応

• SMB 1.0 と比較して3 倍以上の性能向上*

* http://www.atmarkit.co.jp/ad/ms/1102windowsnas/1102windowsnas.html

2012 年

SMB 3.0

• SMB Transparent Failover

• SMB Multichannel

• SMB Direct

• VSS Agent for SMB Storage

• デフォルト MTU を 1MB に拡大

• 運用管理面の強化

http://www.atmarkit.co.jp/ad/ms/1102windowsnas/1102windowsnas.html

SOFS - Scale-Out File Servers

25

SMB 3.0 と WSFC の強化で実現するスケールアウト型ファイルサーバー

CSV v2

SOFS

WSFC

WSFC WSFC

Hyper-V

MSSQL

SMB 3.0

SAN(FC, iSCSI, Shared SAS)


26

汎用ファイルサーバーとスケールアウト・ファイルサーバーの比較（併用可能）

汎用ファイルサーバースケールアウト・ファイルサーバー（SOFS）

サポート Windows Windows NT 4.0 Server ～ Windows Server 2012 ～

サポート・ボリュームクラスタ切替ディスククラスタ共有ボリューム（CSV v2）

サポート・ファイルシステム NTFS, ReFS NTFS

サービス・プロトコル SMB / NFS（下位互換あり） SMB 3.0 のみ

NTFS 重複除去

DFS レプリケーション

ファイルサーバーリソースマネージャー

○ ×

アクセス・モード Active-Passive Active-Active

シングル・ネームスペース DFS-N（名前空間） DNN（分散ネットワーク名）

ノード障害時のダウンタイム数十秒ほぼ一瞬

対応用途ファイル共有（SMB / NFS）Windows Server 2012 Hyper-V

Microsoft SQL Server 2008 R2 / 2012


27

SOFS は Active-Active 動作

Active-Active を実現する新技術

CSV v2（クラスタ共有ボリューム）

• 性能強化

• 仮想マシンの生成の向上

• ファイルコピーのパフォーマンスの向上

• Read キャッシュ機構を実装（512MB までテスト済み）

• インタコネクトに SMB Direct, SMB Multichannel をサポート

• 互換性強化

• コーディネータ・ノード以外からの VSS スナップショット

• マルチサブネット対応による、マルチサイト・クラスタリング

• 独自フィルタドライバを持つバックアップ・アンチウィルス製品に対応

• BitLocker サポート

• CSV → 通常ディスクへの移行が可能に

DNN（分散ネットワーク名）

• DFS-N に代わる新しいシングルネーム・スペース

• 仮想 IP アドレス不要

• 全ノードの物理 IP アドレスを DNS に登録


28

アプリからは UNC パスで指定

Windows Server 2012 Hyper-V の場合

• 仮想マシンを DNN 配下の UNC パスに格納

アプリ側での設定

Microsoft SQL Server 2012 の場合

• *.mdf や *.ldf を DNN 配下の UNC パスに格納


29

なぜ、SOFS サーバーを間に挟むの？ SAN ストレージに直接アクセスした方が効率的なのでは？

WSFC WSFC

Hyper-V

MSSQL


CSV v2OR

CSV v2

SOFS

WSFC

WSFC WSFC

Hyper-V

MSSQL

SMB 3.0



30

SMB 3.0 対応アプリケーション専用

性能の目安: FC > SOFS > iSCSI

大容量 MTU（1TB）で効率の良い転送

安価なサーバーメモリでキャッシュ効果

サーバーとストレージの管理分解点を明確に

CSV v2

SOFS

WSFC

WSFC WSFC

Hyper-VMSSQL

SMB 3.0



SOFS の性能強化オプション

31

SMB 3.0 その他の新機能

SMB Direct

ダイレクトメモリアクセス

• HPC などで使われる RDMA* 上で SMB パケットを転送

• オーバーヘッドの大きいTCP/IP を介さない

• レイテンシ（遅延）とCPU 負荷を大幅削減

* Remote Direct Memory Access

必要な機材

• Infiniband HCA

• RoCE (RDMA over Converged Ethernet)

• iWARP

特に Infiniband は 10GbE より高性能

スループットスイッチング遅延

10GbE Ethernet 10 Gbps 1.5 ~ 2.0 msec

Infiniband (QDR) 32 Gbps 0.10 msec

Infiniband (FDR) 56 Gbps 0.17 msec


32


SMB Direct

RDMA の圧倒的パフォーマンス出典: http://smb3.info （Windows Server 12 Beta での測定結果）

ローカル接続時の性能を引き出しながらサーバーに CPU 負荷は掛けない

スループットGB/sec

IOPS512KB

CPU負荷Privileged

10GbE (10 Gbps) 1.1 GB/sec 2,259 < 9.8 %

RDMA (IB QDR, 32 Gbps) 3.8 GB/sec 7,508 < 3.5 %

RDMA (IB FDR, 54 Gbps) 5.8 GB/sec 11,565 < 4.8 %

Local (PCIe Direct) 5.8 GB/sec 11,616 < 6.6 %

http://smb3.info/


33


SMB Direct

Infiniband は速いのに安い！ SMB Multichannel

• 複数のネットワーク・セグメントを使ってスループットを向上

• NIC Teaming で帯域増強できないケースで有効

SMB Multichannel

FibreChannel 16GbEthernet 10GbE

Infiniband FDR

10 Gbps × 24 ポート

200~250 万円


200~250 万円


200~250 万円

サーバーで作れる “ユニファイド・ストレージ”

34

iSCSI / NFS / SMB / SOFS を同時にホスト（WSFC クラスタリング対応）

マルチプロトコルiSCSI / NFS / SMB / SOFS

クラスタリングSMB シングルネームスペース対応

重複排除

シン・プロビジョニング記憶域プール併用時

Windows Server “ユニファイド・ストレージ” の具現化

35

WS2012 + Shared SAS をキーとする “ユニファイド・ストレージ” が登場（予定）

Cluster-in-a-Box

Server

Enclosure

Additional JBODs …

1/10G Ethernet

cluster connectx8 PCIe

x4 SAS

External JBOD

B ports

A ports

SAS

Expander

SAS

Expander23…10

23…10SAS

Expander

Storage

Controller

CPU

SAS

Expander

Storage

Controller

CPU

Server A Server B

Infiniband

or 10GbEInfiniband

or 10GbE 「Tech・Ed North America」では各社が対応を表明

HP X5000 G2

（現行製品は WSS2008R2 ベース）

性能に興味がある方は「X5000 パフォーマンス」で PDF 検索！

http://www.stscomps.com/LSI_logo.jpg

http://www.stscomps.com/LSI_logo.jpg

ODX - Offloaded Data Transfer

36

ファイルコピー処理をストレージにオフロード

従来

ODX の動作イメージ

ODX ベネフィット

• コピーによる、サーバー負荷がゼロに

• コピーによる、パスの負荷もゼロに

• 夜を待たずに VM クローンができる

• 1GbE 環境では特に効果的サーバーはストレージにコピー命令を送るだけ

要件

• ODX 対応ストレージ*

• ODX API に対応したアプリケーションODX 対応ストレージ

* T10 XCOPY に対応していればストレージ側の対応は容易

ODX - Offloaded Data Transfer

37

ファイルコピー処理をストレージにオフロード

ODX と同様に T10/XCOPY を実装しているVMware VAAI での効果

ODX の効果

米 Dell EqualLogic のベータファームウェアによるレポート

• 削減効果

• CPU 負荷: 36 % 削減

• ネットワーク負荷: 99 % 削減

• コピー時間: 1/3 に削減

• コピー速度: 2.4 倍に向上

• http://en.community.dell.com/techcenter/

b/techcenter/archive/2012/04/27/offloade

d-data-transfer-in-microsoft-174-

windows-server-174-2012-beta.aspx通常のクローン 34 分 52 秒

T10/XCOPY

2 分 14 秒

日本 HP によるテスト（HP P4500G2 SAS/1GbE iSCSI 環境にて、業務中における 50GB 仮想マシンのクローン所要時間）

http://en.community.dell.com/techcenter/b/techcenter/archive/2012/04/27/offloaded-data-transfer-in-microsoft-174-windows-server-174-2012-beta.aspx

Synthetic FibreChannel

38

FC-SAN ストレージでも Hyper-V のゲスト間で WSFC（ゲストクラスタ）を構成可能に

NPIV*

NPIV 対応FC-SAN Switch

Hyper-V

ホスト

ゲスト OS（WS2008 以降）

Synthetic 対応FC-HBA

NPIV 技術を利用

• ゲストの仮想 FC-HBA に専用の WWN が割り振られる

• FC-SAN 導入規模で求められる、アプリのクラスタリングや FC テープ接続がゲストでも可能に！

• WSFC と Live Migration の併用が可能！

• 「HP Virtual Connect」のような、既存の NPIV 技術との併用も可能（Nested NPIV）

• FCoE CNA の NPAR 分割技術とも併用可能

* NPIV = N_Port ID Virtualization

WWPN:

5000:A0…3A

5000:A0…3B

WWPN:

C003:FF…01

C003:FF…02

Hyper-V ホストからゲストOS のサービス監視

39

ホストクラスタだけでもゲストOS 上のサービス監視が可能に

バックアップ関連の強化

40

VSS 連携によるシームレス・バックアップから BCP を考えたクラウド対応まで

SMB ファイル共有 VSS エージェント

• アプリサーバーからリモート SMB ストレージに VSS を指示

Hyper-V Replica

• Hyper-V のゲスト OS は別拠点に簡単にコピーが可能

クラウドサービスへバックアップ

• Windows Server

Backup (WSB) はクラウドサービスへバックアップ可能に

• Microsoft Online

Backup Service が現在ベータテスト中

リモートの SMB ストレージと VSS 連携災害対策も可能なサイト間バックアップ

41

Follow Up!

このあとのハッピーアワーで WS2012 の実機を展示します

• NTFS vs. ReFS

• Synthetic FibreChannel

• SR-IOV

• 10GbE

• Enterprise SSD

HP ProLiant DL380p Gen8

42

まとめ

記憶域プール

シンプロビジョニング

T10

UNMAP

オンライン破損スキャン

重複除去

ReFS

NFS 4.1

iSCSI

Target

SMB 3.0

SOFS

CSV v2

RDMA

ODX

Synthetic

FC

Backup

43

Q & A

44

Thank You!