emc isilon スケールアウトnas hadoop...

ホワイト・ペーパー

要約

このホワイト・ペーパーでは、エンタープライズ向けのHadoopデータ分析ワークフローをサポートするための EMC Isilon ス

ケールアウト NAS の使用方法を詳述しています。関連するコ

ア・アーキテクチャ・コンポーネントについての説明のほか、

企業が信頼できる洞察を短時間で効率よく手に入れながら、

シンプルさを維持したまま、拡大するビッグデータ分析ワー

クフローのストレージ要件に対応するために活用できるメリッ

トを取り上げています。 2012 年 5 月

EMC ISILONスケールアウトNAS上のHADOOP

2 EMC Isilon スケールアウト NAS 上の Hadoop

Copyright © 2012 EMC Corporation. All rights reserved. （不許複

製・禁無断転載） EMC Corporation は、この資料に記載される情報が、発行日時

点で正確であるとみなしています。この情報は予告なく変更

されることがあります。本文書に記載される情報は、「現状有姿」の条件で提供され

ています。EMC Corporation は、この資料に記載される情報に

関する、どのような内容についても表明保証条項を設けず、

特に、商品性や特定の目的に対する適応性に対する黙示の保

証はいたしません。この資料に記載される、いかなる EMC ソフトウェアの使用、

複製、頒布も、当該ソフトウェア・ライセンスが必要です。 EMC 製品名の最新のリストについては、japan.emc.com サイト

で「EMC Corporation の商標」を参照してください。 VMware は、VMware，Inc.の登録商標または商標です。その他

のすべての名称ならびに製品についての商標は、それぞれの

所有者の商標または登録商標です。パーツ番号 h10528-J


目次

概要 ........................................................................................................................ 4

Hadoop ソフトウェアの概要 .................................................................................. 5 Hadoop MapReduce ........................................................................................................... 5 HDFS（Hadoop Distributed File System） .......................................................................... 6 Hadoop ディストリビューション ..................................................................................... 6 Hadoop のエコシステム .................................................................................................... 7

Hadoop のアーキテクチャ ..................................................................................... 7

EMC Isilon OneFS の概要 ......................................................................................... 8

Isilon のアーキテクチャ ......................................................................................... 8

OneFS のオプション・ソフトウェア・モジュール .............................................. 10

Isilon 上の Hadoop ................................................................................................ 10 シンプルさ ...................................................................................................................... 11 効率性 ............................................................................................................................. 13 柔軟性 ............................................................................................................................. 14 信頼性 ............................................................................................................................. 14

ファイル・システム・ジャーナル ............................................................................. 16 ノード/デバイス障害にプロアクティブに対処 ......................................................... 16 Isilon データの整合性 ................................................................................................. 17 プロトコル・チェックサム ........................................................................................ 17 ダイナミック・セクタ修復 ........................................................................................ 17 MediaScan ................................................................................................................... 17 IntegrityScan ................................................................................................................ 18 データの高可用性 ....................................................................................................... 18 ビジネス継続性 ........................................................................................................... 18

結論 ...................................................................................................................... 22

Isilon について ..................................................................................................... 22


概要

企業は急速に拡大するデータ（ビッグデータとも呼ばれる）の保存と管理への対

処に絶えず追われています。ドライブのサイズは処理容量に対応するため拡大さ

れてきましたが、このビッグデータを分析し、さまざまな洞察を得るためのツー

ルはこの成長に対応しきれていません。既存の分析アーキテクチャはあまりに高

価で、処理に時間がかかります。また、維持と管理が非常に困難でもあります。

Hadoop は、革新的なオープン・ソースのビッグデータ分析エンジンであり、企業

のデータセットから価値のある洞察を得られるまでの時間を最短にできるよう設

計されています。これは、MapReduce と HDFS（Hadoop Distributed File System）

という 2 つの主要コンポーネントで構成されています。MapReduce は、大規模な

データセットからより短時間で結果を取得するように、複数ノードでジョブを並

列に実行する分散タスク処理フレームワークです。HDFS は、Hadoop のコンピュー

ティング・ファームで分析対象のすべての入力データと MapReduce ジョブで作成

された出力の保存に使用される分散ファイル・システムです。

Hadoop はスケールアウトの原則に基づき構築され、コモディティ・ハードウェア

のクラスタ上で実行されるインテリジェント・ソフトウェアを使用することで、

価値のある洞察を高いコスト・パフォーマンスで素早く得ることができます。この分散型の並列タスク処理エンジンによって、Hadoop はビッグデータの分析に

優れた性能を発揮します。

企業のお客様は、さまざまなビッグデータ保存の要件に応じて EMC Isilon スケー

ルアウト NAS を引き続きご活用いただけます。OneFS はオペレーティング・シス

テムであり、EMC Isilon スケールアウト NAS を形成する複数ノードで実行される基

本の分散ファイル・システムです。OneFS はマシンだけでなく人的な拡張性も備

えており、従来のストレージ・システムに比べてわずかな人員で大規模システム

を管理できます。OneFS は複雑さを排除し、自動修復と自動管理機能を組み込む

ことで、ストレージ管理の負担を大幅に減らしています。OneFS には非常に高度

なOSレベルで並列化も組み込まれ、あらゆる主要システム・サービスを複数のハー

ドウェア・ユニットに分散できます。これにより OneFS は、インフラストラクチャ

の拡張に応じて実質的にあらゆる規模で拡張が可能で、データセットの拡大とワー

クフローの変更に応じ、現在行っている処理が引き続き行えます。

EMC Isilon スケールアウト NAS はこのように柔軟な機能を備え、インフラストラク

チャおよびデータ容量の変更だけでなく発展するワーフクローに簡単に適応でき

ることから、Hadoop を使用したビッグデータ保存と分析ワークフロー・ソリュー

ションにおいて極めて魅力的な要素となっています。


Hadoop ソフトウェアの概要

Hadoop は、業界をリードする革新的なオープン・ソースのビッグデータ分析エン

ジンであり、企業のデータセットから価値のある洞察を得られるまでの時間を最

短にできるよう設計されています。

Hadoop の主要コンポーネント：

Hadoop MapReduce：結果の取得を高速化するためコンピュータ・ノード・クラス

タの大規模なデータセットでジョブを並列に実行する分散タスク処理フレームワー

クです。

Hadoop Distributed File System（HDFS）：Hadoop のコンピューティング・ファー

ムで Hadoop により分析されるすべてのデータを保存するための分散ファイル・シ

ステムです。

MapReduceはコンピューティング・パラダイムとしてGoogleにより導入され、Hadoopは Yahoo がそのパラダイムを実装する形で作成、オープン・ソースに寄贈されま

した。

Hadoop MapReduce

Hadoop MapReduce は、大規模なコモディティ・コンピュータ・ノード・クラスタ

で大量のデータを並列処理するアプリケーションを容易に作成するためのソフト

ウェア・フレームワークです。

MapReduce フレームワークを構成する要素：

JobTracker：ノード・クラスタあたりの単一マスターで、ジョブとそのコンポーネ

ントのタスクのスケジュール、監視、管理を行います。

TaskTracker：クラスタ・ノードあたりの 1 つのスレーブ TaskTracker で、JobTrackerが指示したジョブのタスク・コンポーネントを実行します。

MapReduce ジョブ（クエリー）は、クラスタ間で完全に並列に分散および処理さ

れる複数のマップ・タスクから構成されます。フレームワークによりマップの出

力がソートされ、これらが reduce タスクの入力として使用されます。通常は、HDFSを使用してジョブの入力と出力の両方がコンピュータ・ノード・クラスタに保存

されます。フレームワークは、タスクのスケジュール、監視を行い、失敗したタ

スクの再実行を管理します。

Hadoop クラスタでは一般的に、MapReduce がノードを処理し、HDFS ストレージ・

レイヤー（HDFS）は同じノード・セット上に配置されます。この構成により、デー

タがすでに存在するノード上のタスクを効果的にスケジュールでき、ノード・ク

ラスタ内でのデータ移動に伴うネットワークのボトルネックを回避しています。

このようにコンピューティング・レイヤーでは、HDFS レイヤーでローカルにデー

タを調整して、重要な洞察を効率よく得ることができます。


Hadoop は完全に Java で作成されていますが、MapReduce アプリケーションは必

ずしもその必要はありません。MapReduce アプリケーションは、Hadoop ストリー

ミング・インタフェースによって、あらゆる実行可能プログラムを特定ジョブの

マッパやリデューサに使用することができます。

HDFS（Hadoop Distributed File System）

HDFS はクラスタ内の複数ノードにおよぶブロック・ベースのファイル・システム

で、ユーザー・データをファイルに保存することができます。従来の階層ファイル

編成のため、ユーザーやアプリケーションはファイルおよびディレクトリの操作（作

成、名前変更、移動または削除）を行えます。また、ストリーミング・インタフェー

スとして MapReduce フレームワークを使用して、任意のアプリケーションを実行

できます。HDFS はハード・リンクまたはソフト・リンクの設定はサポートされず、

特定ブロックのシークやファイルの上書きは行えません。HDFSはプログラマティッ

ク・アクセスが必要であり、ファイル・システムとしてマウントすることはできま

せん。HDFS の通信はすべて、TCP/IP プロトコルの上位に階層化されます。

HDFS の主要コンポーネント：

NameNode：すべてのファイル、ファイルの場所、ファイル内のすべてのブロック

とそれらが置かれた DataNode のメモリ内マップを持つ 1 つのマスター・メタデー

タ・サーバです。

DataNode：クラスタ・ノードにつき 1 つのスレーブ DataNode で、サーバが要求

の読み取り/書き込みを行うほか、NameNode の指示によりブロックの作成、削除、

レプリケーションを行います。

HDFSは、MapReduceジョブを実行する前にすべてのデータが置かれるストレージ・

レイヤーです。HDFS はブロック・ミラーリングを使用することでデータを Hadoopクラスタに分散して、複数のコンピュータ・ノードでデータを保護し、位置を特

定しています。デフォルトのブロック・サイズは 64 MB で、デフォルトのレプリ

ケーション係数は 3x です。

Hadoop ディストリビューション

オープン・ソースの Apache Foundation が apache.org より Apache Hadoop のリリー

スを管理しています。他のディストリビューションはすべてApache Hadoopをベー

スに構築または拡張された派生ディストリビューションとなります。現在利用可

能な一般的な Hadoop ディストリビューションは次のとおりです。

• Apache Hadoop

• Cloudera CDH3

• Greenplum HD

• Hortonworks データ・プラットフォーム

上記に挙げたものは、現在利用可能なすべての Hadoop ディストリビューションの

一覧ではなく、一般的な選択肢です。現在利用できるHadoopディストリビューショ


ンの詳細なリストは、次から参照できます。http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support

これは、Hadoop でのデータ分析用に実行できるソフトウェア・スタックです。

Hadoop のエコシステム

次に挙げたものは、Hadoop でのデータ分析用に実行できるソフトウェア・スタッ

クです。

エコシステム・コンポーネントは、Hadoop スタックの上位に位置するアドオン・

コンポーネントで、分析ワークフローに役立つ追加の機能を提供します。この分

野で一般的な選択肢は次のとおりです。

• Hive：HDFSに保存されたデータを扱う、SQLに似た特別なクエリー・インタフェース

• HBase：HDFS の上位に位置する高パフォーマンスのランダム読み取り/書き込み

可能な列ベースの構造化ストレージ・システム

• Pig：並列処理を行うハイレベル・データフロー言語と実行フレームワーク

• Mahout：Hadoop を使用した拡張性の高いマシン学習アルゴリズム

• R（RHIPE）：大規模な複合データセット用に分割/再結合によるデータ解析

上記は、Hadoop エコシステム・コンポーネントのいくつかの例です。

Hadoop の全コンポーネント

Hadoop のアーキテクチャ次に挙げたアーキテクチャ図は、Hadoop コンピュータ・クラスタで実行されるすべての

Hadoop コア・コンポーネントを示したものです。

http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support�


このコンピュータ環境で発生する一般的な対話処理は次のとおりです。

1. データが HDFS レイヤーに取り込まれる必要があります。

2. データの計算または解析は MapReduce を使用して行われます。

3. Hadoopワークフロー全般に対応するためのHDFSまたは他のインフラストラク

チャでの結果の保存またはエクスポート。

上記のアーキテクチャからは、NameNode が環境内の Singleton であるため、問題

が発生した場合は Hadoop 環境全体が使用不可になることが分かります。

EMC Isilon OneFS の概要

OneFS は、従来のストレージ・アーキテクチャの 3 つのレイヤーであるファイル・

システム、ボリューム・マネージャ、RAID を 1 つの統合ソフトウェア・レイヤー

に結合し、Isilon ストレージ・クラスタで実行される 1 つのインテリジェントな分

散ファイル・システムを構築します。

OneFS により、ファイル・システム、ボリューム・マネージャ、データ保護が 1

つのインテリジェントな分散システムに結合

これは、企業において現在の環境でスケールアウト NAS を直接利用する上で重要

な革新的機能です。スケールアウトの原則であるインテリジェント・ソフトウェ

ア、コモディティ・ハードウェア、分散アーキテクチャに忠実に従った形となっ

ています。OneFS はオペレーティング・システムであるだけでなく、Isilon ストレー

ジ・クラスタにデータを保存する基本ファイル・システムでもあります。

Isilon のアーキテクチャ

OneFS は、「クラスタ」と呼ばれる多数の Isilon スケールアウト・ストレージ・ノー

ドを排他的に処理します。1 つの Isilon クラスタは複数の「ノード」からなり、こ

れらはラック・マウント式のエンタープライズ・アプリケーションとして構成さ

れ、メモリ、CPU、1 GB/10 GB ネットワーク、NVRAM、低レーテンシーInfiniband相互接続、ディスク・コントローラ、ストレージ・メディアなどのコンポーネン

トが含まれます。このため、分散クラスタ内の各ノードは処理能力とストレージ

能力を持ちます。


Isilon クラスタは 3 ノードから、現在では最大 144 ノードまで拡張が可能です。異

なった多くの種類のノードもすべて 1 つのクラスタに組み込むことができ、各種

ノードによりさまざまな容量比率のスループット（IOPS）を実現できます。

OneFS は理論的に 1 つのシステムに組み込み可能なノードの数が無限とされます。

クラスタに追加される各ノードにより、ディスク、キャッシュ、CPU、ネットワー

ク容量の総量が増加します。OneFS は各ハードウェアのビルディング・ブロック

を活用することで、全体で部分の合計よりも高い能力を実現しています。RAM を

1 つの一貫性のあるキャッシュに集約することで、クラスタのいずれの箇所でもど

こからのキャッシュ・データの入出力を可能にしています。NVRAM の集約により、

停電時に安全な高スループットの書き込みが可能です。スピンドルと CPU を結合

することで、クラスタの拡大に応じて、1 ファイルまたは複数ファイルのアクセス

におけるスループット、容量、IOPS を高めています。クラスタのストレージ容量

は、1 ファイル・システムで最小 18 テラバイト（TB）から最大 15.5 ペタバイト（PB）に及びます。

EMC Isilon ノードのタイプは、その機能によりいくつかのクラスにセグメント化さ

れています。

• S シリーズ：IOPS 集約アプリケーション

• X シリーズ：高度の並列度とスループット主導のワークフロー

• NL シリーズ：テープ並みの価格でプライマリ水準のアクセス性

• パフォーマンス・アクセラレータ：独自の拡張性による究極のパフォーマンス

• バックアップ・アクセラレータ・ノード：高速で拡張性の高いバックアップお

よびリストア・ソリューション

環境内で動作する OneFS のすべてのコンポーネント

上記の完全なアーキテクチャ（ソフトウェア、ハードウェア、ネットワーク接続

すべてが環境内でサーバとともに機能）によって、作業負荷や容量の要求、また

はスループットの要件の変化に応じて動的に拡張できる完全に分散した単一のファ

イル・システムを実現します。


OneFS のオプション・ソフトウェア・モジュール

OneFS はお客様のニーズに応じて有効にできるアドオン・ライセンス式のソフト

ウェア・モジュールです。次の一覧に、すべての使用可能なモジュールとその機

能の概略を示します。

SnapshotIQ™ — シンプルで拡張性、柔軟性の高い、スナップショットを使用したロー

カル・データ保護

SmartConnect™ — ポリシー・ベースのデータ・アクセス、ロード・バランシングと

フェイルオーバーによる高可用性

SmartQuotas™ — クォータ使用のデータ管理とシン・プロビジョニングによるクラ

スタ化されたストレージ

SyncIQ™ — 高速で柔軟なファイルベースの非同期データ・レプリケーション

SmartPools™ — 異なるディスク階層を使用し、属性をもとに情報ライフサイクル管

理（ILM）ポリシーを提供するデータ管理

SmartLock™ — エンタープライズ WORM 準拠形式でデータを保存

InsightIQ™ — 強力でシンプルな分析プラットフォームによりトレンド、ホット・ス

ポット、主要クラスタ統計と情報を特定

上記のすべてのソフトウェア・モジュールの詳細については、製品資料を参照し

てください。

Isilon 上の Hadoop

HDFS のすべての通信は TCP/IP プロトコルの上位に階層化されるため、Isilon には

HDFS レイヤーが OneFS 用のネットワーク経由のプロトコルとして組み込まれてい

ます。この統合により、スケールアウト NAS プラットフォームを Hadoop アーキテ

クチャのネイティブ・パーツとして、Hadoop コア・コンポーネントとあらゆるエ

コシステム・コンポーネントの両方で活用できます。また、Hadoop のワークフロー

全体で OneFS のシンプルさ、柔軟性、信頼性、効率性を活かすこともできます。

Hadoop（コンピューティング・レイヤー）に接続された

Isilon スケールアウト NAS（ストレージ・レイヤー）


上の図は、Isilon スケールアウト NAS をネットワーク経由プロトコル（HDFS）に

より Hadoop コンピューティング・クラスタに組み込んだアーキテクチャを示して

います。これにより Isilon スケールアウト NAS は、企業の Hadoop ワークフローに

おいて第 1 クラスのメンバーになることができます。また、Hadoop ワークフロー

の 2 つの別個のコア・コンポーネントであるコンピューティング（MapReduce）レイヤーおよび HDFS（Hadoop Distributed File System）（ストレージ・レイヤー）

を使用することも可能になります。今日利用可能なネットワーク帯域幅は大幅に

向上しており、OneFS は分散型の並列処理を中核機能とし、構築されていること

から、エンタープライズ環境のお客様はHadoopを使用したデータ分析ワークフロー

に共有スケールアウト・ストレージ・モデルを有効活用いただけます。

次の詳細図では、Hadoop のすべてのコア・コンポーネントとエコシステム・コン

ポーネントを Isilon スケールアウト NAS とともに使用しています。

Hadoop 環境で Isilon スケールアウト NAS とともに動作するすべての

Hadoop コンポーネント

EMC Isilon OneFS ファイル・システムは現在、単一ファイル・システムと単一グロー

バル・ネームスペースで 15 PB を超える拡張が可能です。その容量では、85 GB/秒の同時スループットも実現できます。Hadoop ワークフローの容量とパフォーマ

ンスの要件に対する OneFS の直線的な拡張方法について詳しくは、specsfs2008のベンチマーク結果（www.spec.org）を参照してください。

以降のいくつかのセクションでは、Hadoop のワークフローで EMC Isilon スケール

アウト NAS を使用することの大きな利点を詳しく説明します。

シンプルさ

EMC Isilon OneFS は、ファイル・システムのプロビジョニングから適切なデータ保

護メカニズムの適用など、企業のデータセットを常にアクセス可能にして障害か

ら適切に保護するためのディスク・プールのラック管理に関わるあらゆる複雑さ

を排除します。OneFS により Hadoop のシンプルな利用が可能になるため、企業で

はデータを活用してビジネスを促進する洞察を得ることに集中できます。Hadoopの使用に集中することは、Hadoop エコシステムのストレージ・インフラストラク

http://www.spec.org/�


チャの管理に時間をとられるのではなく、重要なトレンドの発見やビジネスを加

速する機会を見つけることにつながります。

Isilon ストレージの拡張は通常、わずか 60 秒足らずで済み、クラスタをオンライ

ンにしたままボタンを押すだけで実行できます。既存のクラスタへの Isilon ノード

の追加は、ラックに設置した後で電源を入れ、既存の Isilon スケールアウト・クラ

スタへの追加を確認するだけです。この「結合」プロセスにより、追加容量をた

だちに利用でき、追加する Isilon ノードで適切な OneFS バージョンと構成を実行

することが可能です。追加容量が 60 秒で手に入るだけでなく、現在の使用率のバ

ランスを Isilon クラスタで均等に再調整するバックグラウンド・ジョブを実行する

ことでデータのホット・スポットを回避しています。この容量拡張はすべてスケー

ルアウト・ストレージをオンラインにしたまま行え、MapReduce ジョブのサービ

スに影響を与えることはありません。

OneFS では、HDFS プロトコルのサポートのほか、次のプロトコルをすべてサポー

トしています。

• NFS

• CIFS/SMB

• FTP

• HTTP

• iSCSI

• REST

Isilon HDFS は、OneFS ファイル・システムと HDFS クライアント間の軽量プロトコ

ルとして実装されます。ファイルは Isilonクラスタ上の標準のPOSIX互換ファイル・

システムに保存されます。これにより、上記のどのプロトコルを使用した場合で

も Hadoop ワークフローでのデータの取り込みや、Hadoop で得られたビジネスの

重要な洞察をデータ分析ワークフローの他のコンポーネントにエクスポートする

作業が非常に簡単に行えます。すでに EMC Isilon スケールアウト NAS に保存され

ているデータの場合は、OneFS で Hadoop コンピューティング・ファームを参照す

るだけで済み、Hadoop ワークフローのために時間やリソースを要するロード操作

を行う必要はありません。OneFS では、企業の Hadoop 環境で HDFS レイヤーを真

の実証済みファイル・システムとして使用することが可能です。


Hadoop のワークフローをシンプルにする Isilon スケールアウト NAS

効率性

OneFS は Isilon スケールアウト・クラスタで 80%以上の容量使用率を目標とし、

Hadoop データ分析ワークフローにおいて非常に高い効率を実現しています。標準

的にファイル・システム上のすべてのブロックで 3 倍のミラーリングを使用する

従来の Hadoop アーキテクチャと比べると、OneFS は極めて容量効率がよく、エン

タープライズ環境のお客様に最適な ROI と TCO をもたらします。たとえば 12 PB の Hadoop データを保存する企業の場合、標準で 3 倍のミラーリン

グによりデータを保存する従来の Hadoop クラスタでは、36 PB を超える未フォー

マット・ディスクを購入する必要がありました。これと同じ 12 PB の Hadoop デー

タを OneFS のデータ保護により保存する場合は、Isilon クラスタに必要な未フォー

マット・ディスク容量はわずか 15 PB です。これにより CAPEX を大幅に節約する

とともに、管理するインフラストラクチャ環境もはるかにシンプルで済みます。

簡易な運用とシンプルな管理によって Isilon がもたらす OPEX の節約に加え、この

ほかにも環境の効率を高めることができます。たとえば、Isilon ノードは容量の面

で非常に高密度が得られます。このため、ストレージを直接接続する従来の 36 PB Hadoop クラスタの実行に必要なラック・スペースと電力は、同じデータ要件に対

応する 15 PB の Isilon クラスタよりも大幅に増します。この Isilon クラスタの利点

は、さらなるコスト削減につながります。

Hadoop 環境で Isilon スケールアウト NAS を共有ストレージ・レイヤーとして使用

する場合も、Hadoop コンピューティング・ファームを集約して最小化することが

できます。ストレージに関連する HDFS のあらゆるオーバーヘッドを Isilon スケー

ルアウト NAS にオフロードすることで、Hadoop コンピューティング・ファームの

効率を高め、ローカル・ストレージの管理ではなく、より多くの分析ジョブを実

行し、ローカル・ストレージのデータを保護して、ローカル・ストレージ内のデー

タ分析を実行することができます。Hadoop コンピューティング・ファームにおけ

るこれらすべてのHDFS関連タスクの実行負荷を緩和することで、OneFSはHadoop


コンピューティング・ファームの設置面積を縮小し、データ分析ワークフローの

他のタスクで既存の Hadoop コンピューティング・インフラストラクチャを活用す

ることができます。データ分析ワークフローの全体で、他の標準プロトコル経由

での効率的な共有ストレージのアクセスによるメリットが得られ、Hadoop で得た

重要な洞察をデータ分析ワーフクローの他の範囲で利用できるようになります。

こうした集約型のアプローチにより、データ分析ワークフロー全体を効率化し、

企業における大幅な CAPEX と OPEX の節約を実現できます。

柔軟性

ストレージを直接接続した従来の Hadoop クラスタでは、コンピューティング・レ

イヤーとストレージ・レイヤーが緊密に結合され、どちらかが欠けると拡張がで

きませんでした。これによる欠点として、お客様はコンピューティング能力では

なく、より多くのストレージを必要とすることから、Hadoop クラスタを拡張する

結果となりました。しかし拡張するにつれ、より多くのネットワーク・インフラス

トラクチャとコンピューティング・インフラストラクチャを追加することになりま

した。これは、使用率全般からすると非常に効率が悪く柔軟性に欠けています。

Hadoop のコンピューティング・レイヤーとストレージ・レイヤーを切り離すこと

で、企業は柔軟に一方（ストレージ）を独立して拡張しながら、必要に応じて他

方（コンピューティング）を拡張できるようになりました。この柔軟で成長に応

じて購入できるアーキテクチャにより、お客様は必要なものを必要なときにだけ

購入でき、Hadoop の複合環境全体の効率を高めることができます。これにより最

初は小容量で始め、OneFS を使用した Hadoop ストレージ・レイヤーで必要に応じ

て最大 85 GB/秒の同時スループットを実現できます。

Hadoop ストレージの要件のため OneFS を使用する主な利点は、Apache Hadoop に

準拠している点にあります。これにより組織の Hadoop データ分析ワークフローで

任意の Hadoop ディストリビューションを選択する柔軟な使用が可能です。EMC Isilon スケールアウト NAS の使用が確認済みの Hadoop ディストリビューション：

• Apache Hadoop 0.20.203

• Apache Hadoop 0.20.205

• EMC Greenplum HD 1.1

信頼性

Hadoop 分析ソリューションへの投資価値を最大に活かすため、企業はリカバリ性

の高いビッグデータ・ストレージ・インフラストラクチャを求めています。Isilonスケールアウト NAS と OneFS オペレーティング・システムは、無類のデータ保護

による信頼性の高いインフラストラクチャによりデータ資産を保護し、高可用性

データ環境を実現します。

従来の Hadoop クラスタでは、ハードウェア・レイヤーでのデータ保護のためのカ

スタム・サブブロック CRC チェックサムと HDFS レイヤーのミラーリング・テクノ


ロジーを必要とし、何らかのデータ冗長性が存在しました。しかし、これは拡張

時に非常にコストが高くつくことになります。

Isilon のデータ保護は OneFS ファイル・システム・レベルで実装されているため、

ハードウェア RAID コントローラには依存しません。これにより、市場の状況や、

ハードウェア属性と特性の展開に応じて、新しいデータ保護方式を追加するなど、

多くの利点が得られます。保護はファイル・レベルで適用されることから、OneFSソフトウェアのアップグレードのみで新規の保護/パフォーマンス・スキームを利

用することができます。

OneFS は、広く実績のあるリード・ソロモン・アルゴリズムを使用して、確実に

パリティ保護の計算を行います。保護はファイル・レベルで提供され、クラスタ

のデータ・リカバリが迅速に効率よく行えます。Inode、ディレクトリおよび他の

メタデータは、参照するデータ・ブロックと同等以上のレベルで保護されます。

すべてのデータ、メタデータ、前方エラー訂正（FEC）ブロックは複数ノードにわ

たりストライピングされるため、専用のパリティ・ドライブは必要ありません。

これにより、単一障害点とボトルネックの両方に対する保護がなされ、ファイル

再構築のプロセスを高度に並列化することができます。現在、OneFS では N+1 か

ら N+4 のパリティ保護レベルを提供し、それぞれ最大 4 件同時のコンポーネント

障害に対する保護が可能です。単一の障害は個々のディスクと同程度に小さい確

率となり、別の見方からはノード全体の確率と同程度となります。

OneFS では、ハイブリッド保護方式もいくつかサポートされています。これには

N+2:1 および N+3:1 が含まれ、それぞれに 2 つのドライブ障害または 1 つのノー

ド障害、3 つのドライブ障害または 1 ノード障害に対する保護がなされます。これ

らの保護スキームは特に、各ノードが最大 36 の複数テラバイト SATA ドライブを

含む高密度ノード構成に有効です。これは、複数ドライブで障害が発生する可能

性がノード全体の障害の可能性よりはるかに高くなるケースです。複数のデバイ

スで同時に障害が発生するような可能性の低い事例において（ファイルが「保護

レベルを超える」など）、OneFS はあらゆる可能性に再度保護を行い、影響を受

ける各ファイルのエラーを Isilon クラスタ・ログに報告します。


OneFS ハイブリッド・パリティ保護スキーム（N+M:x）

ファイル・システム・ジャーナル

Isilon ノードはすべてデュアル・バッテリ・バックアップの 512 MB NVRAM カード

を備え、ノードのファイル・システム・ジャーナルを保護しています。各ジャー

ナルは OneFS で安定したストレージとして使用され、突然の電源損失やその他災

害事故から書き込みトランザクションを保護します。ジャーナルではファイル・

システムの整合性が保護され、バッテリは最大 3 日間持続します。Isilon クラスタ

の各メンバー・ノードには NVRAM コントローラが含まれるため、OneFS ファイル・

システム全体が完全にジャーナル化された状態となります。

ノード/デバイス障害にプロアクティブに対処

OneFS では、検出された ECC エラーが特定の閾値に達したドライブを除去し

（SmartFail）、そのドライブのデータを自動で再構築して、クラスタ内の別の場所

に配置します。SmartFail と以降の修復プロセスは完全に自動で行われるため、管

理者による操作を必要としません。OneFS はデータをファイル・レベルで保護す

るため、不整合やデータ消失が発生した場合は使用不可または障害のあるデバイ

スだけに分離され、残りのファイル・システムは影響を受けることなく使用可能

な状態に維持されます。

高度な分散アーキテクチャをベースとする OneFS は、複数ノードの CPU、メモリ

およびスピンドルを活用して、障害デバイスのデータを高度に並列化された効率

のよい形で再構築できます。Isilon ストレージ・システムは特定ドライブの速度に

よる制限を受けないため、OneFS はドライブ障害からのリカバリが極めて迅速に

行え、クラスタのサイズに比例して効率的に処理できます。このため、Isilon クラ

スタ内の障害が発生したドライブは、RAID ベース・ストレージ・デバイスの場合

の数時間から数日よりもはるかに短い、数分または数時間で再構築ができます。

また、OneFS は専用の「ホット・スペア」ドライブを必要としません。


Isilon データの整合性

ISI Data Integrity（IDI）は、32 ビット CRC チェックサムによりファイル・システム

構造の破損を保護する OneFS プロセスです。ファイルおよびメタデータともに、

すべての Isilon ブロックはチェックサムによる検証を行っています。メタデータ・

チェックサムはメタデータ・ブロック内に保存され、ファイル・データ・チェッ

クサムはメタデータとして保存され、参照時の整合性を維持しています。チェッ

クサムはすべて、特定の読み取りをサービスするノードであるイニシエータによっ

て要求時に毎回再計算されます。

再計算されたチェックサムが保存されたものと一致しない場合、OneFSはシステム・

アラートを出してイベントをログに記録し、対応するパリティ・ブロックを取得し

てクライアントに返し、自動的に対象のデータ・ブロックの修復を試みます。

プロトコル・チェックサム

OneFS ではブロックとメタデータのほかにも、リモート・ブロック管理（RBM）

プロトコル・データのチェックサム検査を行っています。RBM は Isilon が開発し

た RPC ベースのユニキャスト・プロトコルで、バックエンド・クラスタの相互接

続で使用されます。RBM プロトコルのチェックサムは、ネットワーク・レイヤー

で行われる Infinibandハードウェア・チェックサムに追加する形で、特定の故障ハー

ドウェア・コンポーネントを含むマシンやその他障害状態を示すマシンを検出し

て分離するのに使用されます。

ダイナミック・セクタ修復

OneFS はダイナミック・セクタ修復（DSR）機能を持ち、これによりエラーの出た

ディスク・セクタを分離して、問題のないデータをファイル・システムでリダイ

レクトして他の箇所に再書き込みします。OneFS が通常の動作でブロックの読み

取りに失敗すると、DSR が呼び出されて欠落データが再構築され、ドライブの異

なる場所またはノードの別の場所に書き込まれます。これにより、以降のそのブ

ロックの読み取りで問題が発生しないようにしています。DSR は全自動で、エン

ド・ユーザーに対して完全に透過的に実行されます。ディスク・セクタと CRC の

不一致については、ドライブの再構築プロセスとほぼ同じメカニズムが使用され

ています。

MediaScan

MediaScan は OneFS においてディスクのセクタをチェックし、上記の DSR メカニ

ズムを使用して、ディスク・ドライブで発生するセクタの ECC エラーを強制的に

訂正する機能があります。MediaScan は OneFS の一部として実装され、あらかじ

め決められたスケジュールで自動実行されます。影響の少ないバックグラウンド

処理で実行されるMediaScanは、完全な分散型で、Isilon独自の並列アーキテクチャ

の利点を活かすことができます。


IntegrityScan

OneFS のもう 1 つのコンポーネントである IntegrityScan は、ファイル・システム

全体の不整合を検査します。これは、すべてのブロックを系統的に読み取り、関

連するチェックサムを検査して行われます。従来の「fsck」スタイルのファイル・

システム整合性チェック・ツールとは異なり、IntegrityScan はクラスタが完全に動

作している状態で実行され、ダウンタイムの発生を回避しています。IntegrityScanでチェックサムの不一致が検出されると、システム・アラートが出されてシステ

ム・ログに記録され、OneFS が自動的に該当ブロックの修復を試みます。

データの高可用性

ストレージが直接接続された従来の Hadoop クラスタでは、ファイル・システムの

ネームスペース操作を管理する NameNode は 1 つだけでした。Isilon ストレージで

は、すべての Isilon ノードが NameNode または DataNode の要求に応答できます。

Hadoop のコンピュータ・クライアントから Isilon OneFS スケールアウト NAS に対

してファイル要求が送信されるごとに、その要求は異なる Isilon ノード・アドレス

に送信されます。Hadoop環境では、クラスタ内のすべての IsilonノードはNameNodeであり DataNode とされます。これにより、複数の Hadoop コンピュータ・ノード

で実行される複数のマッパおよびリデューサ・タスクから IO のロード・バランシ

ングを複数の Isilon ノードにわたって行えます。このように、OneFS では従来の

Hadoop クラスタに見られた単一障害点を排除して、ロード・バランシングを実現

しています。

Isilon SmartConnect モジュールは、Hadoop コンピュータ・クライアントの動的な

フェイルオーバーとフェイルバックをサポートすることで、データの高可用性に

貢献しています。これにより、ノードに障害が発生した場合に、MapReduce ジョ

ブに関連する処理中のすべての読み取り/書き込みを Isilon クラスタの別のノード

に引き渡し、MapReduce ジョブやタスクを中断することなく操作を完了できます。

以上の処理は、SmartConnect名をHadoop core-site.xml構成ファイルで構成パラメー

タとして使用し、Isilonクラスタの動的 IPアドレスを使用することで実行されます。

SmartConnect Zone の構成について詳しくは、Isilon ユーザー・ガイドをご覧くだ

さい。この機能はロード・バランシングとともに、OneFS で HDFS ストレージ・レ

イヤーを提供して Hadoop MapReduce ジョブを実行しているときに障害が発生し

た場合の継続的なデータ可用性を実現します。

ビジネス継続性

OneFS は、エンタープライズ環境におけるビジネスの持続に必要な信頼性の高い

データ・バックアップ方式を提供する堅牢なメカニズムを備えています。Isilon SnapshotIQ は、OneFS のあらゆるディレクトリ/サブディレクトリの読み取り専用

のポイント・イン・タイム・コピーを作成して、最高速のローカル・バックアッ

プとして機能します。OneFS のスナップショットは、非常に拡張性が高く、通常

は 1 秒足らずで作成できます。パフォーマンスのオーバーヘッドはほとんどなく、


ファイル・システムの活動レベル、ファイル・システム・サイズ、またはコピー

するディレクトリのサイズに影響されません。また、スナップショットの更新時

は、変更されたファイル・ブロックのみを保存するので、スナップショットのス

トレージ使用率は非常に効率的です。使用可能なスナップショットには、各ファ

イル・システム・ディレクトリ以下の/.snapshot 非表示ディレクトリからアクセ

スできます。Isilon SnapshotIQ はクラスタ上でスナップショットを無制限に作成で

きます。スナップショットの間隔をさらに細分化して RPO の時間枠を改善できる

ため、他の多くのスナップショット実装に比べて大きなメリットがあります。

SnapshotIQ を使用したユーザー主導のファイル・リカバリ

SnapshotIQ には損失または破損したファイルのリカバリにおける利点のほか、強

力なバックアップ方法によってファイル・システムへの影響を最小限にとどめる

ことが可能です。スナップショットからバックアップを開始することは、いくつ

かの大きなメリットがあります。最大のメリットは、バックアップを読み取り専

用のスナップショットから直接取得するため、ファイル・システムの活動を停止

する必要がない点です。オープン・ファイルのロック競合の問題を排除でき、バッ

クアップ・ジョブの間にユーザーはデータにフルアクセスが可能です。

SnapshotIQ では、クラスタ上の各スナップショットの最新バージョンを参照する

エイリアスも自動で作成され、バックアップで常にそのエイリアスを参照できる

ためバックアップ・プロセスが容易に行えます。スナップショットは定義上、ポ

イント・イン・タイム・コピーであるため、スナップショットからのバックアッ

プによってファイル・システムやサブディレクトリの整合性が維持されます。

NDMP スナップショット機能を使用して NDMP バックアップ・ジョブの一部とし

てスナップショットを作成し、バックアップの完了後にこれを削除することで、

このプロセスをさらに合理化できます。OneFSは、偏在的Network Data Management Protocol（NDMP）のサポートによって、効率的なバックアップとリストア機能を実

現しています。NDMP は、先進のバックアップ製品との相互運用性を持つオープン

標準プロトコルです。Isilon は NDMP バージョン 3 と 4 をともにサポートします。

OneFS NDMP モジュールには次の機能があります。


• NDMP を使用したフル/増分バックアップとリストア

• Direct Access Restore（DAR/DDAR）、単一ファイル・リストア、3way バックアップ

• 任意システムへのリストア

• アクセス制御リスト（ACL）、代替データ・ストリーム、およびリソース・フォー

クへのシームレスな統合

• 選択式ファイル・リカバリ

• レプリケーションしてバックアップ

スナップショットと NDMP は、局地的な障害シナリオには理想的なソリューショ

ンですが、大規模な障害や自然災害の場合は、地理的に離れたもう 1 つのデータ

セット・コピーが明らかに効果的です。

Isilon SyncIQ モジュールは、広範な目標復旧時点（RPO）と目標復旧時間（RTO）に対応するデータの高パフォーマンスな非同期レプリケーションを行います。お

客様はインフラストラクチャのコストと災害発生時のデータ消失の可能性から最

適なトレードオフを選択できます。SyncIQ は、複製するファイル・システムにハー

ド制限がないため、組織のデータが数ペタバイト規模に拡張するのに応じた直線

的な拡張が可能です。

SyncIQ を使用してローカルまたは地理的に離れた Isilon OneFS クラスタに

Hadoop データをレプリケーション

SyncIQ は、短距離または長距離のレプリケーションのため LAN と WAN 接続のどち

らにも簡単に最適化でき、サイト特有の災害や地域の災害の両方に対する保護を

提供します。また、SyncIQ は、クラスタ化されたストレージのパフォーマンスと

効率性を活かすため、高度に並列化したポリシー・ベースのレプリケーション・

アーキテクチャを使用しています。このため、総スループットは容量とともに拡

大し、拡張するデータセットに一貫した RPO を実現できます。


まとめとして、HDFS ストレージ・レイヤーの一部に EMC Isilon ストレージを加え

ることで、次のような従来の Hadoop ストレージ導入のいくつかの欠点に対処する

ことが可能になります。

従来の Hadoop ストレージ導入

EMC Isilon ストレージ導入

専用のストレージ・インフラストラクチャ

– Hadoop 専用のワンオフスケールアウト・ストレージ・プラットフォーム – 複数のアプリケーション＆ワークフロー

単一障害点 – Namenode

単一障害点なし

– 分散した Namenode

エンタープライズ・データ保護の欠如

– スナップショット、レプリケーション、

バックアップなし

エンド・ツー・エンドのデータ保護 – SnapshotIQ、SyncIQ、NDMP バックアップ

非効率なストレージ

– 3 倍ミラーリング業界をリードする効率のよいストレージ

– >80%のストレージ使用率

固定された拡張性 – コンピュータとストレージの比率が固定

独立した拡張性

– コンピュータとストレージを別個に追加

手動のインポート/エクスポート

– プロトコル・サポートなしマルチ・プロトコル – 業界標準プロトコル – NFS、CIFS、FTP、HTTP、HDFS


結論 Hadoop は、企業がビッグデータ資産から貴重な洞察を得るための時間とリソース

を大幅に削減する革新的な分析エンジンです。本書に記載のとおり、EMC Isilon ス

ケールアウト NAS と Isilon OneFS オペレーティング・システムをネットワーク経

由の HDFS レイヤーとすることで、大きなメリットが得られます。この統合により、

スケールアウト NAS プラットフォームを Hadoop アーキテクチャのネイティブ・

パーツとして、Hadoop コア・コンポーネントとあらゆるエコシステム・コンポー

ネントの両方で利用が可能です。また、Hadoop のワークフロー全体で OneFS のシ

ンプルさ、柔軟性、信頼性、効率性を活かすことができます。HDFS をネットワー

ク経由のプロトコルとして使用することで、あらゆる業界標準Apache Hadoopディ

ストリビューションと Isilon スケールアウト NAS ストレージ・システムを組み合

わせたビッグデータ分析ソリューションを容易に導入でき、強力で効率性と柔軟

性の高いビッグデータ・ストレージと分析エコシステムが実現可能です。このア

プローチにより、ストレージを直接接続した高リソースで複雑な従来の Hadoop導入を避けることができます。Isilon スケールアウト NAS では、高いリカバリ性を

持つストレージ・インフラストラクチャを Hadoop 環境に導入して、データ保護と

信頼性を高めつつ、シンプルさを維持したまま発展するビッグデータ分析ワーク

フローの要件に対応できます。

Isilon について

EMC の一部門である Isilon は、スケールアウト NAS のグローバル・リーダーです。

ストレージではなくデータの管理に集中したい企業のお客様向けに強力でシンプ

ルなソリューションを提供しています。Isilon 製品は、どのような規模でも設置、

管理、拡張が容易に行えます。従来のエンタープライズ・ストレージと異なり、Isilonのソリューションは、追加するストレージの数、要求されるパフォーマンス、将

来変化するビジネス・ニーズに関係なく、シンプルさを維持できます。お客様に

はストレージについて違う見方をしていただくことで、よりシンプルで優れた方

法をご提供できると考えております。http://japan.emc.com をご覧ください。

http://japan.emc.com/�

emc isilon スケールアウトnas hadoop...

Documents