x86サーバに加えた3つの特長 - cisco · hadoop! 3rdパーティパッケージ...
TRANSCRIPT
-
x86サーバに加えた3つの特長
MapR & Ciscoビッグデータソリューション
ラックマウント サーバ、ブレード サーバの製品種別に依存しない 導入の容易性を提供可能にするサーバ Cisco UCS(Unified Computing System) シリーズ
MapR:エンタープライズグレードHadoop 2
Hadoop、サーバ、ネットワークを一元管理 1
FI(UCSM)では、これまでのサーバ管理の常識であるハードウェア固有の情報(MAC アドレス、WWN、NIC & HBA ファームウェア情報や BIOS 設定)をハードウェア から完全に 分離してソフトウェア情報として管理できます。 これにより、サーバ追加/変更時に、ソフトウェア情報を 交換ハードウェアに一括で割り当てることができます。
- Hadoop Clusterゼロタッチ展開 - オンデマンドクラスタサイジング - ステータス、ヘルスダッシュボード - クラスター全体の一元管理
Hadoop,サーバ ネットワークをボタン一つ
で容易に管理
MapR:エンタープライズ グレードHadoop
検証済みの リファレンス アーキ
テクチャ
1
2
3
Web ブラウザで 簡単アクセス
サービス プロファイル OSデバイス
サーバ パラメータ BIOS FW MAC WWN
サービス プロファイル OSデバイス
サーバ パラメータ BIOS FW MAC WWN
故障
移動
UCS Director Expressから一元的に、ラックサーバ, ネットワーク、Hadoopソフトを展開、管理できます。
UCS Director Express
UCS Manager
OS/ Hadoop
インストール
Hadoop Manager
アプリ モニター
ネッ
トワ
ーク
アップリンクトランク作成 VLAN作成
QoS 設定 セキュリティ設定
サー
バ BIOS設定 ベアメタル プロビジョニング サーバセットアップ
ネットワーク設定 OSインストール RAID 構成
Hado
op 3rdパーティパッケージ インストール
Hadoopユーザ アカウント作成
Hadoopサービス展開管理
Hadoopクラスタ 各ノードの構成 Hadoopソフトのインストール
従来のHadoopを企業が利用する際に問題となる点を解消 企業がデータ分析・活用する際に必須となるデータ保護やデータの移動、 そしてパフォーマンスを改善した運用し易いエンタープライズ向けHadoop
-
Cisco UCSビッグデータ・ストレージ(スケールアウトNAS)
昨今、活⽤用すべき、活⽤用したいデータが増えています(Gartnerの調査では、年年率率率40%増加)。従来のアプライアンス型のSANやNSAといったストレージでは、そのスケーラビリティやコスト効果に限界があります。様々な分野で「ソフトウエア・デファインド」というキーワードが叫ばれていますが、ストレージの領領域も例例外ではありません。MapRとCisco UCSの組合せによるソフトウエア・デファインドストレージは、容量量に合わせてサーバーノードを追加し、⾃自由にスケールさせられるだけではなく、デファクトで各種分析機能が付随しています。さらに、バックアップやスナップショット、NFSやSMBでのアクセスといったエンタープライズ・ストレージに求められる基本機能も備わっています。保管したデータをこのストレージから他のシステムに移す必要なく分析や検索索、さらにはSQLやBIでアクセスができる新時代の「ビッグデータストレージ」としてご活⽤用いただけます。
デモやPoCがCTCのBigData Processing Labにて可能です。詳細は担当営業までお問い合わせください。
テラバイト当たりのコスト⽐比較(Wall Street Journal: Jan. , 2014)
世界中で多くの企業が活⽤用しているHadoopをストレージとして利利⽤用するメリット
• ログやファイル、画像といったデータをコスト効率率率良良く保管
• 保管データをその場で分析、検索索• 既存SQLやBIからアクセスし、分析やレポート作成• バックアップやスナップショットでデータ保護• 容量量に合わせて⾃自由にスケールアウト可能• NFSやSMBでアクセス可能• ⾃自動圧縮でディスク領領域も有効活⽤用
データとコストの現状
-
システムイメージ&データ保護
BIでのアクセスイメージ
アドホッククエリ
Apache DrillはMapRのオプション製品です
メリット• DWH/DBを介さず分析やレポートが可能
• DWH/DBより多くのデータを安価に格納
• PCをつないで、最新データをアップロードし、分析や検索索が可能
• データマート等が不不要で⾼高データアジリティ「Cisco UCSビッグデータ・ストレージ」
最⼩小構成(可用性、運用性 パック)
• Cisco UCS C220 M4 4台• 1U/2p/12c/64GB/1TB x 8• 10G NIC• 実容量量(⾮非圧縮):32TB• MapR M5ライセンス• Redhat
データ保護について:(データバックアップ例例)
NFSインターフェース(他にも標準I/F有り)
データソース(DBやWeb他)
-
シスコシステムズ合同会社 お問い合わせ
©2013 Cisco Systems, Inc. All rights reserved. Cisco、Cisco Systems、および Cisco Systems ロゴは、Cisco Systems, Inc. またはその関連会社の米国およびその他の一定の国における登録商標または商標です。本書類またはウェブサイトに掲載されているその他の商標はそれぞれの権利者の財産です。「パートナー」または「partner」という用語の使用は Cisco と他社との間のパートナーシップ関係を意味するものではありません。(0809R)この資料の記載内容は 2013 年 4 月現在のものです。この資料に記載された仕様は予告なく変更する場合があります。
〒107-6227 東京都港区赤坂 9-7-1 ミッドタウン・タワー http://www.cisco.com/jp お問い合わせ先:シスコ コンタクトセンター
0120-092-255 (フリーコール、携帯・PHS含む) 電話受付時間 : 平日 10:00~12:00、13:00~17:00 http://www.cisco.com/jp/go/contactcenter/ 0905-1304-000-PE
http://www.cisco.com/jp/go/bigdata
UCS+MapRライセンスパッケージ 3
Hadoopお試しパック MapRは、分散NameNodeやJobTrakerのHA化により可用性を高め、最低3ノードで(プロダクションは4ノード以上を推奨)Hadoopを試すことが可能です。また、ランダムR/Wのできるファイルシステムに、オープンスタンダードのNFSインターフェースを備えているため、データの出し入れを専用ツールやアダプタ無しでもできるため、リアルタイムかつ他システムとのデータ連係も容易です。 管理性、拡張性パック UCSファブリックインターコネクトとUCSサーバを接続ことで、サーバ、ネットワークの設定を一元化します。UCS Director Express for BigDataと組み合わせることで、サーバ、ネットワークの設定、OSとHadoopのインストール、Hadoopの各種設定を自動化します。自動化のメリットは、OSとHadoopのバージョンの組み合わせを容易にし、来るバージョンアップに備えるための環境構築を容易にします。 DWH/ETL最適化、ビッグデータストレージパッケージ IT予算の削減が求められている中、データの急速な成長に対して、既存DWHの増設は簡単ではありません。増え続けるデータ、ETLのワークロードをHadoopとの組み合わせで解決します! DWHのワークロード中の多くを占めるETLの処理をHadoopにオフロードすることで、データ量やコストとパフォーマンスのニーズを満たすことができます。さらに、MapRとCiscoのソリューションである「UCSビッグデータストレージ」に蓄積したデータを元に各種の分析を直接行うことも可能です。 IoE、リアルタイム データ収集・分析パッケージ IoEでは、多種多様なデバイスに柔軟に接続できるデータ収集層と、データを、ストリーミング(リアルタイム)データをスキーマやテーブルに縛らず格納できるデータ格納層、最後にコスト効率とSQLといった既存技術を活かせるデータ活用層の考慮が必要です。 また、従来の枠を超えたパフォーマンスとスケーラビリティも求められます。IoE時代のデータのリアルタイム解析・活用に向けて、大量データをリアルタイムに深く解析し、業務ニーズに反映させることができるプラットフォームです。
ソリューション パック名 Hadoopお試しパック 可用性、運用性 パック
ビッグデータストレージDWH/ETL最適化(⼩小)
ビッグデータストレージDWH/ETL最適化(⼤大)
IoEリアルタイム データ収集・分析
サーバ機種 UCS C220 M4 (3台) UCS C220 M4(4台) UCS C220 M4 (8台) UCS C240 M4(16台) UCS C240 M4(16台)
プロセッサ 2 x Intel Xeon E5-2620 v3 2 x Intel Xeon E5-2620 v3
2 x Intel Xeon E5-2620 v3
2 x Intel Xeon E5-2620 v3
2 x Intel Xeon E5-2680 v3
メモリ 48GB 64GB 256GB 128GB (増設可能) 256GB
ストレージコントローラ
Cisco 12-Gbps SAS Raid コントローラ
Cisco 12-Gbps SAS Raid コントローラ
Cisco 12-Gbps SAS Raid コントローラ
Cisco 12-Gbps SAS Raid コントローラC
Cisco 12-Gbps SAS Raid コントローラ
ストレージ 5 x 1-TB 7.2K SAS SFF HDD 8 x 1-TB 7.2K SAS SFF HDD 8 x 1.2-TB 10K SAS SFF HDD 2 x 120-GB SATA SSD 12 x 4-TB 7.2K SAS SFF HDD 2 x 120-GB SATA SSD
24 x 1.2-TB 10K SAS SFF HDD
ラックあたりストレージ容量量 5 TB 9.6 TB 9.6 TB
48 TB(OS 240 GB)
28.8 TB(OS 240 GB)
接続インタフェース LOM 1GE x 2 UCS VIC 1227 10GE x 2 UCS VIC 1227 10GE x 2 UCS VIC 1227 10GE x 2 UCS VIC 1227 10GE x 2
ファブリック/ネットワーク -
2xUCS 6248UP
2xUCS 6248UP
2 x UCS 6296UP
2 x UCS 6296UP
CPA v3 型番 - - UCS-SL-CPA3-S UCS-SL-CPA3-C UCS-SL-CPA3-P
ネットワークスイッチ(Option)
- Nexus9372XP Nexus9372XPNexus2232PP
Nexus9372XPNexus2232PP
Nexus9372XPNexus2232PP
⾃自動化ツール(Option) -
UCS Director Express for BigData
UCS Director Express for BigData
UCS Director Express for BigData
UCS Director Express for BigData
MapRライセンス
M5(1年年) M5(3年年) M5/M7(3年年) M5/M7(3年年) M7(3年年)
主な⽤用途・はじめてのHadoop利利⽤用・検証や開発⽤用
・可⽤用性も考慮したプロダクション⽤用最⼩小構成・拡張のあるスモールスタート⽤用・検証や⼊入⾨門Hadoopにも
・エントリーのスケールアウトNASとして ・オプションのDrillを併せると標準SQLやBIを使えるHadoop ・既存DWHと併用するとDWHの最適化に
・ディスク容量が必要な HadoopやスケールアウトNASとして ・オプションのDrillを併せると標準SQLやBIを使えるHadoop ・既存DWHと併用するとDWHの最適化に
・テキスト系のデータだけでなく、画像系データの保管や処理理・IoEやM2Mといったストリーミングデータの活⽤用・NoSQLを利利⽤用・Drillでアドホックにデータ探索
Cisco UCSと、MapRライセンスを組み合わせた導入しやすいパッケージを作成しました。 UCS C220 M4 (1RU)サーバ3台からスタートできるHadoopお試しパックと、CPA v3 (Common PlaRorm Architecture) ビッグデータのための統合基盤を選択いただけます。CPA v3とは、各社のHadoopを検証し、なるべくチューニング無しで使えるよう考慮した構成です。 メモリーの増設にも対応しています。