oracle sparc / solaris による エンタープライズ・ …oracle sparc / solaris による...
TRANSCRIPT
Oracle SPARC / Solaris による エンタープライズ・プライベートクラウド
基盤構築の実践
1
株式会社 NTTぷらら 技術本部
ネットワーク管理部 チーフエンジニア
嶋寺 克彰
自己紹介 & 会社概要
これまでの Solaris への取り組み
仮想化への取り組み
直面していた経営課題と解決シナリオ
Solarisゾーンによるサーバ仮想化の実例
ZFSによる統合バックアップの実例
Oracle VM for SPARC による DB統合の実例
今後の計画
2
Solaris による仮想化の導入の社内説得、構築・運用の一助になれば幸いです。
嶋寺 克彰 (Katsuaki Shimadera) ◦ 2007/7~ (株)NTTぷらら 技術本部 ネットワーク管理部に所属
◦ ひかりTVサービスのシステム設計・構築・運用
◦ 新規技術の検証・導入
◦ 新人教育・社内勉強会の開催
3
4
ISP (1996-) 個人向け・法人向け
IP電話 (2003-)
映像配信(2004-)
●
● カラオケ
● テレビ
●
●
●
●
会員数 : 579 万人 (2014年3月末現在)
【会員数内訳】 ISP:297万人、ひかりTV:282万人
ひかりTV (2008-)
4thMedia (2004-)
5
ぷららは歴史的にSolarisファンが多く、多くのSolarisサーバが稼働中
事例
◦ 映像配信システム - Ultra SPARC T2 サーバ
NTTぷららの「ひかりTV」を支えるサン・マイクロシステムズのCMTサーバ
http://www.bcm.co.jp/site/2009/04/sun/
◦ コンタクトセンタシンクライアント - Sun Ray
ぷららネットワークスが、個人情報保護法の完全施行をふまえ、 情報漏えい対策の強化を図ったIPコンタクトセンターシステムを導入
http://www.plala.or.jp/access/living/releases/nr05_mar/0050316.html
6
7
8
Apache Tomcat
OS
Web Server
Database Language
Oracle社製品
Solaris
Linux
Windows・その他
ISP黎明期~2000年代前半はSolarisが圧倒的シェア
2000年代後半にLinuxがSolarisを逆転(主にひかりTV)
SolarisとLinuxを適材適所で使い分け
9
ノー
ド数
1996年 ISPぷららサービス開始
2008年 ひかりTV
サービス開始
2012年 仮想化基盤導入
※模式図です
2004年 4th Media
サービス開始
サーバの用途はほぼすべて自社サービス用です。
(今のところクラウドサービスとしては提供していません)
10
データセンタA
サーバ仮想化基盤A
サーバ仮想化基盤構成のポイント ◦ 2つのDCにそれぞれ Solaris 10 と VMware vSphere の環境を構築
◦ Solaris 10 環境は SPARC T4-1 x5台 x2拠点(計10台)
◦ Solaris 11 x86 による統合バックアップサーバ(OSイメージをバックアップし、DC間でレプリケーション)
11
共有SAN
ストレージ
統合
バックアップ
OS OS
OS
OS OS
OS
OS OS
OS
データセンタB
サーバ仮想化基盤B
共有SAN
ストレージ
統合
バックアップ
OS OS
OS
OS OS
OS
OS OS
OS
DB仮想化基盤 (移行中)
2012年度以降、500台超のサーバを仮想化(P2V+新規)
◦ Solaris 180台
◦ VMware 320台
1億円/年以上のコスト効果(主にデータセンタ費用)
サービス開発のアジリティ(敏捷性)向上
◦ 映像配信、ショッピング、電子書籍、音楽配信、ゲームなどのサービスリリース・設備拡張に貢献
◦ ハードの調達期間はボトルネックではなくなり、アジリティ確保のためにリソースの予測がより重要に
運用の効率化
◦ 負荷状況に応じたフレキシブルなリソース割り当て
◦ クローン機能による高速なサーバデプロイ
◦ 物理サーバ統合によるハードウェア故障件数の低減
仮想サーバの利用状況
◦ ぷらら全体の3割程度のサーバを仮想化済み
◦ 2012年度以降、新規サーバの7~8割は仮想サーバで構築
12
13
仮想化導入の背景
14
ビジネス要求 • 迅速にサービスをリリースしたい • タイムリーに設備拡張したい • 運用コストは削減したい
・暫定構成、暫定運用 ・スパゲッティ化 ・人手不足 ・・・
システム運用は崩壊寸前
仮想化
仮想化導入のロードマップ
15
リソース統合 プライベート
クラウド
ハイブリッド
クラウド
2012 2013 2014
サーバ仮想化
データベース仮想化
標準化・自動化の推進
ネットワーク仮想化(NFV/SDN)
パブリッククラウド活用
2015
社内説得のシナリオ (組織によって差があるかもしれませんが)
◦ 仮想化導入の障壁になりやすい「得られる投資対効果が不明確」
◦ 機能要件や性能要件はその次の話
投資対効果の例 ◦ わかりやすい投資対効果のシナリオが必要
16
開発速度の向上 △費用化しづらい
運用の効率化 △費用化しづらい
データセンタコストの削減 ○費用化しやすい
移行シナリオの一例 ※あくまで例です
17
x 100台 x 4台
移行元 Sun Fire V240
CPU UltraSPARC IIIi x2
スペック 1.5GHz, 2sockets
最大入力電流 6.5A
移行先 Oracle SPARC T4-1
CPU SPARC T4 x1
スペック 2.8GHz, 64threads
最大入力電流 8.57A
コスト効果算出の一例 ◦ サーバ集約効率の算出
CPU(スレッド数・クロック・SPEC値)、メモリ容量、Disk IO、NW帯域
わかりやすいCPUスレッド数で算出
◦ データセンタラックの仕様例
18
サイズ 19インチ、42U
最大入力電流 30A
費用(ラック・電源) 20万円/月
Sun Fire V240 Oracle SPARC T4-1
CPU UltraSPARC IIIi SPARC T4
スレッド数 2 (2sockets) 64 (8cores x 8threads)
サーバ台数 100台 2 x 100 / 64 = 3.125 → 4台
コスト効果算出の続き ◦ ラック費用の算出
19
Sun Fire V240 Oracle SPARC T4-1
最大入力電流 6.5A 8.57A
ラックあたり搭載 30 / 6.5 = 4.61… → 4台 30 / 8.57 = 3.50… → 3台
台数 100台 4台
ラック数 100 / 4 = 25ラック 4 / 3 = 1.33… → 2ラック
月額費用 20 x 25 = 500万円 20 x 2 = 40万円
年間費用 500 x 12 = 6000万円 40 x 12 = 480万円
5年間費用 6000 x 5 = 3億円 480 x 5 = 2400万円
5年コスト効果 3億円 - 2400万円 = 2億7600万円
上記の例ではサーバ仮想化によりデータセンタ費用だけで2億円以上のコスト効果。 実際には、サーバ構築期間の短縮と運用効率化による人的稼働削減も大きい。
¥0 ¥50,000,000 ¥100,000,000 ¥150,000,000 ¥200,000,000 ¥250,000,000 ¥300,000,000
Sun Fire V240
SPARC T4-1
5年間のラック費用
20
作業項目 1w 2w 3w 4w 5w 6w 7w
ファシリティ調整
・ラック、電源
・ネットワーク、配線
物品調達
・要求仕様
・見積取得
・社内稟議
・発注~納入、検品
構築作業
・キッティング、ラッキング
・OSインストール、設定
物理サーバの調達例
仮想サーバの調達例
作業項目 1w
利用申請
構築作業
・OSクローン
・設定、環境構築
サーバ調達にかかる期間: 89% 短縮 サーバ構築の人的稼働: 80% 削減
21
Solarisゾーンとは? ◦ Solaris 10 で採用されたOSレベルの仮想
化機能(コンテナ型仮想化)
◦ アプリケーションからは、独立したOS(プロセス空間、ファイルシステム空間)が動作しているように見える
◦ 異なるバージョンのSolarisを動作させることも可能(Solaris 10では 8・9・10、Solaris 11では 10・11)
◦ 性能オーバヘッドほぼなし、高速な起動
◦ シンプルな管理 (zoneadm, zonecfg)
22
ZFSとの連携 ◦ Solarisゾーン + ZFS は非常に相性がよい
◦ クローンによる高速なゾーン作成(数秒)、HDD容量の節約
Solarisって高い?
(仮想化して使えば)そうでもない
仮想サーバ1台あたりのコスト比較(対VMware+RHEL)
23
Solaris
VMware
ハードウェア
仮想化ライセンス
OSライセンス
仮想サーバ1台あたり、Solarisゾーンの方が4~5割程度安価。(ぷらら試算) ライセンス費用、物理サーバ1台当たりの統合率の高さが主な要因。
24
前ページの続き
Solaris Zones VMware vSphere + RHEL
ハードウェア例 Oracle SPARC T4-1 CPU: SPARC T4 x1
メモリ: 128GB
一般的な2ウェイサーバ CPU: Intel Xeon E5系 x2
メモリ: 128GB
ライセンス ハードウェアに含む vSphere, RHEL
性能オーバヘッド ほぼなし 10~20%低下
統合率 30~50台/物理サーバ 10~15台/物理サーバ
アプリケーション 動作
主要なOSS等はほぼ動く ベアメタルとほぼ同じ
その他の特徴 ZFSとの統合
リソースマネージャ vMotion, VMware HA
25
Solaris 8
Solaris 10
Zone
Template
Cloned
Zone
Solaris 10
Zone Solaris 9
Zone
Solaris 8
Zone
Solaris 10 P2V Cloned
Zone
Cloned
Zone
Solaris 8 P2V
新規構築して アプリケーション移植
ぷららでのSolarisサーバ仮想化のパターンをご紹介します。
Solaris 10 Solaris 9
Solaris 9 P2V
Solaris 10 Solaris 11
可能ならこの方法がおすすめ
・Solarisの高いバイナリ互換性
・リソース(HDD)節約
将来的な構成
26
ZFSとは? ◦ Solaris 10 6/06 で採用された革新的なファイルシステム
◦ FreeBSD、Linux、Mac OSX などにも移植
ZFSの特徴 ◦ 拡張性・柔軟性
事実上無制限の容量・ファイルサイズ(16EB)、ファイル数(2^48)
ハイブリッドストレージプール(SSD+HDD)
スナップショット、クローン、圧縮、重複排除、暗号化、、、
◦ 堅牢性
冗長性の確保(Mirror, RAID-Z1~3)
End-to-End のチェックサム
Copy-on-Write によるファイル更新
◦ シンプルな管理
管理コマンドは zpool, zfs の2つ
27
仮想環境のバックアップに求められる機能
28
機能 商用製品A ZFS
スナップショット ○ ○
差分バックアップ ○ ○
ファイル単位リストア ○ ○
仮想マシン単位リストア ○ ○
圧縮 ○ ○
重複排除 ○ ○
暗号化 ○ ○
遠隔レプリケーション ○ ○
管理GUI ○ × (※)
導入費用 数千万円~
(主にライセンス) 数百万円~
(主にサーバ機器)
ZFSはバックアップに必要な機能をほぼ網羅。 要件が合えば、非常に安価で実用的なソリューションになりうる。
※ZFS Storage Appliance という製品もあります。
データセンタB データセンタA
システム構成
29
統合 バックアップ
OS Solaris 11 x86
CPU Xeon E5-2430 x2
Memory 32GB
HDD NLSAS 2TB x36 実効容量約50TB
バックアップサーバスペック
方式 (Solaris) zfs send/recv + SSH
方式 (VMware) VDP+NFS
対象容量 10TB~20TB
頻度 1日1回
変更差分 10%未満
バックアップ仕様
統合 バックアップ
zfs send
Solaris 環境
VMware 環境
zfs send+SSH
VDP+NFS
差分スナップショット転送により短時間でバックアップ取得完了。
ZFSの圧縮機能により 30~40% 容量を削減。
元々Zone作成にクローンを使っているので、ZFSの重複排除は未使用。
30
性能オーバヘッドがほぼない ◦ ハイパーバイザはハードウェア内蔵(SPARC T・Mシリーズ)
◦ (※Oracle VM for x86 はちょっと違います)
Solarisゾーンより高いリソースの隔離性
ライブマイグレーションが可能
31
Hypervisor
Oracle VM for SPARC Solaris Zones
Server
OS
App
Dynamic Domains
SPARC T5-2 上に Oracle VM for SPARC で仮想サーバを構築
4システムの基幹DBを SPARC T5-2 2台に統合(2014年度中予定)
DB統合により、ライセンス費用、運用コストを大幅削減見込み
32
共有Flashストレージ
Oracle 11g Solaris 11 RAC
RAC
RAC
Oracle 11g Solaris 11
Oracle 11g Solaris 11
Oracle 11g Solaris 11 RAC
Oracle 11g Solaris 11
Oracle 11g Solaris 11
Oracle 11g Solaris 11
Oracle 11g Solaris 11
OVM for SPARC OVM for SPARC
BEFORE
AFTER
33
BEFORE
AFTER 2x
1/2x
BEFORE
AFTER 1/4x
性能
ライセンス費用
運用コスト
Oracleデータベースのライセンス ◦ Processorライセンス(CPU数に応じて課金)
ソフトパーティショニング(物理CPUすべてに課金)
ハードパーティショニング(割り当てたCPUのみに課金)
34
仮想化方式 Dynamic Domains
VMware Hyper-V
…
Oracle VM SPARC/x86
Solaris Zones (dedicated-cpu)
ライセンス 種別
ハード ソフト ハード! ハード!
ライセンス費用
使用期間 Soft Hard
ライセンス費用の比較 ◦ 段階的にCPU使用数を増やした場合の例
35
ハードパーティショニングでは使用状況に応じてライセンスの追加が可能。 段階的にライセンスを追加することでトータルコストをお得に節約。
36
Solaris 11.2 のさらなる検証と導入 ◦ 2013年よりベータプログラムに参加。
◦ 次期プライベートクラウド基盤の候補として検討中。
◦ Kernel Zone, OpenStack 対応などの新機能に注目。
Oracle VM for SPARC によるDB仮想化の本格展開 ◦ すでに基幹DB 2システムを移行済み。性能が2倍以上向上。
◦ 2014年度、さらに2システムのDBを移行予定。
さらなる仮想化・クラウド化の推進 ◦ サーバ仮想化、DB仮想化は安定運用のフェーズへ。
◦ ネットワーク仮想化、標準化・自動化への取り組みを推進予定。
◦ パブリッククラウドの活用も検討中。
37
38