セッション4 hadoop solution セミナー資料（配布...

Hadoop解析ソリューション

株式会社ブロードバンドタワー営業統括グループ

エンタープライズ営業樋山洋介

CONFIDENTIAL BroadBand Tower Inc. 2

Hadoopの特徴

オープンソースで、大規模なデータの分散処理アプリケーションのフレームワーク

数千のサーバとTB～PB級の大規模データ環境で、効率的に大量のデータを高速に処理することが可能

オープンソースにより提供される（Apache Hadoop）

Linuxの普及同様ディストリビューションベンダーが台頭（Cloudera、Pivotal）

ビッグデータ時代になり大量のデータをいかに活用できるかが企業にとって重要

VISAでは700億のトランザクションログの処理を1カ月から13分に短縮

ニューヨーク・タイムズはTIFFで保管していた13TBの記事データをPDF化するのにAmazon Webサ

ービスのHadoopで処理。高速、低コスト実現

要約すると・・・・・一定のアプリケーション処理を大量に行いたいときに非常に有用である。


Hadoopの実用例

ログ解析（POSデータ解析、広告分析、トラフィック解析）

クリック・ストリーム分析、関係グラフ解析=レコメンデーション

検索機能のインデックス作成、検索精度向上

大量データのパターン分析、分類

金融工学、科学技術計算

動画、テキスト、音楽のデータ変換


アイシロン販売実績

4

2006年よりアイシロンスケールアウトNAS販売開始

【販売実績】

のべ販売実績※2013年4月末時点

約1100ノード（約18PB）

約120システム

保守契約企業数

約80社

【保守体制】

24時間365日の保守体制

お客様環境と接続したリモート保守の提供


アイシロン用途例

画像、動画データの蓄積、編集

アクセスログの蓄積

研究データの蓄積


ブロードバンドタワー×データ解析？

【検証前の想像】

お客様はアイシロンに蓄積されているデータの解析をしているもしくは、したいのではないか？

Hadoopを利用する場合、

Hadoop→分散処理

Isilon→分散ファイルシステム

相性がいいのではないか？

OneFS6.5よりIsilonがHadoopで使用するHDFS（プロトコル）をサポート


Hadoopの構成コンポーネント

2つのコンポーネントで構成

– MapReduce

分散処理のフレームワークで、HDFSに格納されたデータの加工や計算を並列に処理

– Hadoop Distributed File System (HDFS)

大量の汎用サーバをまたいで巨大な単一のファイルシステムを構築し、MapReduceで処理するデータを格納

Hadoop

MapReduceHDFSに格納されたデータの加工や計算を並列に処理

HDFS大量のサーバをまたいで巨大な単一のファイルシステムを構築


Hadoop+Isilonソリューション

MapReduce

HDFS

分析結果

NFSなど

アプリケーションサーバ

データコピー

結果の取り出し

一般的なHadoop環境

MapReduce

HDFS

結果

分析

NFS

OneFS

データコピー

結果の取り出し

単一障害点をなくす

拡張しやすいシステム

処理時間の短縮

ストレージの共有

ストレージの効率利用

マルチプロトコル

CIFS

FTP

HTTP

IsilonによるHadoop環境


検証環境

【弊社検証環境】

MapReduce

HDFS

Hadoop DistributionCDH3u5

OSVersionOneFS6.5

【テスト項目】MapReduceノードとアイシロンの接続テスト代表的な解析アプリケーションのランニングテストMapReduceノード、アイシロンの増設後のパフォーマンススケールテスト


検証結果

ファイル単位でのソート、解析を行うアプリケーションの正常稼働を確認した。

データベース系のソート解析（ブロックベース）に関してアプリケーションの分散処理が1つのノードに集中することにより処理が遅くなることを確認した。

システム構成時にはMapReduceノードからHDFSでアイシロンを接続し、自動的に全ノードを使用して通信を行うことを確認。


想定している活用分野

大量の画像、映像の自動編集処理、解析

衛星画像ビデオ &グラフィック

医療用画像

Webアクセスログ解析＋αの解析

× ? ＝


宇宙天気予報京都大学との共同研究

【宇宙天気予報】

フレア予測、プロトン現象予測、地磁気の擾乱予測

【悪天候（大規模変動）による影響予測】

・地磁気の乱れによるGPS測位精度の劣化

・送電システムの障害

・コンピュータなどの機器動作への影響 etc

「太陽観測衛星ひので」観測データ

地図アプリカーナビゲーション

電力関係会社

予報及び簡易補正値の配信（Push式）

詳細予報の配信京都大学

宇宙総合研究ユニット

その他、精密電子機器環境

など

太陽フレア発生

「米国気象衛星GOES」観測データ

ビッグデータ解析技術による

・大量の時系列データ

・大量の時系列画像

の相関予測処理


方針、ご提案体制

データ処理、解析は目的の策定、データ取得のためのシステム改修など、お客様のご協力が非常に重要と考えております。弊社といたしましては、Hadoopインフラのサービスで

はなく、解析アプリケーションの共同開発までのサポートを目指し、ご提案体制を拡充していきます。

13

セッション4 hadoop solution セミナー資料（配布...

Documents