富士通が実現するビッグデータ時代のクラウドサービス基盤と活...

2012年10月23日富士通株式会社クラウドプラットフォーム開発本部シニアディレクター倉知陽一

富士通が実現するビッグデータ時代のクラウドサービス基盤と活用例のご紹介

富士通のビジョン

Copyright 2012 FUJITSU LIMITED 1

食医療エネルギー交通物流環境

仮想世界

ネットワーク

PaaS

. . .

IaaS

. . .

SaaS データ分析

. . . . . .

状況にあった適切なサービスの提供

実践知の提供

現実世界

状況認識

ヒューマンセントリック・インテリジェントソサエティ

富士通は、社会が抱える様々な問題を

ICT活用によって解決し、人々が豊かで安心して

快適・便利に暮らせる社会の実現を目指しています


企業におけるビッグデータの意義

Copyright 2012 FUJITSU LIMITED

ビッグデータ利活用により新たなビジネス領域へ

ビジネス活動で発生する情報から新たな価値を発見様々なデータの相関関係から新たなトレンドや予兆を把握リアルタイム分析によりサービスを変革

収集

アクション

分析

意思決定

大量データ・精度向上リアルタイム・短サイクル

センサーソーシャルメディア

日報

稼働データ

物流情報

購買履歴

修理履歴

3

富士通の描くビッグデータ活用の全体像


オンプレミス型

オンプレミス型とクラウド型の両輪

基幹システム情報系システム

クラウド型

「データ活用基盤サービス」

お客様サイト

4

富士通の描くビッグデータ活用の全体像


オンプレミス型

Red Hat Enterprise Linuxを基盤に採用

基幹システム情報系システム

クラウド型

「データ活用基盤サービス」

お客様サイト

プライベートクラウドパブリッククラウド

5


富士通のクラウドを実現するＲed Hat Enterprise Linux

6

基幹システム (バックオフィス)

フロントシステム (現場)

社会システム

スマートグリッドトレーサビリティ

画像・映像ネットワーク

プローブ情報遠隔医療

センサーネットワーク

防災

環境電子政府

医療交通

農業

教育

エネルギー

富士通クラウド他社クラウド

ハイブリッドクラウドインテグレーション

プライベートクラウド

パブリッククラウド

エンターテイメント

富士通が捉えるクラウドの全体像

新たなビジネスを創出する価値創造型のICT基盤


仮想化技術をベースとし、運用管理の効率化を実現お客様の課題や状況に応じて段階的な導入が可能

標準化

自動化

仮想化

サービス化

IＣT共通基盤

基幹情報周辺

仮想マシン仮想マシン仮想マシン

仮想マシン仮想マシン仮想マシン

セルフサービス・ポータル

プロビジョニング

インフラ資源のプール化

ｻｲﾛ型ICTインフラ環境

まずは仮想化 - 運用品質の向上 - 余剰リソースの有効活用 - 設備コストの削減

さらに運用管理の効率化へ (標準化・自動化・サービス化)

- 利用者の利便性向上 - 管理負担の軽減 - 運用コストの削減

※：サイロ型ICTインフラ環境：組織や業務毎に開発・構築・運用されている業務アプリシステム等のこと


プライベートクラウドへの取り組み

8


構築事例プライベートクラウド

グループ内システム運用会社

グループ会社がビジネスをスピーディー(早く)かつスモールスタート(安く)

する為のインフラリソースをプライベートクラウドで提供

従来4ヶ月要していたシステム構築期間が5日に短縮

お客様センター (プライベートクラウド)

グループ会社B

グループ会社A

要求に応じてリソースを提供

利用要求

利用要求

加速するビジネススピードへの対応

富士通の最新クラウド技術の適用で柔軟かつ、高信頼な

システムを実現

GUI操作によるリソース制御

《システムリソース》

《構築期間》 4ヶ月⇒5日

PRIMECLUSTER

【効果】

9

配備・運用・保守⇒ServerView Resource Orchestratorで実現

仮想化環境の管理効率化


利用者管理者

① テンプレート選択 ② 利用申請 ③ 承認・審査

利用開始

自動配備

仮想サーバ

サービスポータルにより、仮想サーバの構築を容易に実現

【運用】

物理サーバと仮想サーバの起動・停止、状態監視、および仮想サーバの移動を GUIで簡単操作、管理者負担を軽減。

【配備】

申請・承認ベースでの自動配備により、

KVM上の仮想サーバ(VMゲスト)の構築をスピードアップ。（物理単位での配備も可能）

【保守】

サーバ保守などのため、一時的に分散させた仮想サーバを1オペレーションで元の位置に確実に戻すことにより、サーバ保守後の作業ミスを防止。

管理者

物理サーバと仮想サーバをGUIで一元的に管理

PRIMEQUEST PRIMERGY

仮想サーバの元稼働ホストを記憶しておき、保守後の戻しを簡易化

KVM KVM KVM

仮想サーバ

仮想サーバ

仮想サーバ

仮想サーバ

仮想サーバ

仮想サーバ

保守

KVM/VMware/Hyper-V

プライベートクラウド

10

Internet

富士通データセンター

ポータル

柔軟な拡張/時間課金/不要時は返却可能

仮想化運用自動化運用標準化

Self-service：利便性の高いサービスポータル

Secure：安心安全

Speedy：すぐに配備・すぐに利用

回線・ディスクの冗長化

フェイルオーバ機能搭載

Standardization：標準化

Scalable：高い拡張性

グッドデザイン賞受賞

世界６拠点、高いファシリティ機能のセンタから日本品質をご提供

「仮想基盤(KVM)」、「お客様専用仮想マシン」に Red Hat Enterprise Linuxを採用


パブリッククラウドサービス（IaaS）

いつでもすぐに仮想マシン/ストレージの配備や増減が可能

セキュアでトラステットなクラウド環境を世界6拠点に展開

11

富士通のクラウドが提供する５つの価値

スピード（Speedy）

目的に合わせたシステム構成をシステムテンプレートライブラリから選択

インターネット接続時のセキュリティにも配慮した環境を提供（DMZ、ファイアーウォール)

作業の効率化（Self-service）

お客様がポータル上からサーバ/ストレージの構築・変更が可能

お客様がポータル上から稼働状況のモニタリング、仮想マシンの起動/停止、バックアップ/リストアなどの運用操作が可能

拡張性（Scalable）

いつでも、すぐにサーバ/ストレージの構築・削除や増減設が可能

効率的に仮想マシンを利用できる時間単位の料金体系

システムの多重化によるデータの保護、仮想マシンリソース(CPU/メモリ)の性能確保、VPN接続

安心安全（Secure）

標準化（Standardization）

グローバル全体でのITインフラ基盤の集約・標準化を実現可能

国際標準化団体「DMTF」のリーダシップボードに就任し、クラウド標準化への取り組みを実施




数万件の要件に基づく富士通のシステム構築ノウハウがテンプレートにテンプレートを選択するだけで即時インフラ構築(3ヶ月→1時間)

テンプレートによるスピーディーなシステム構築

利用申込インフラ構築アプリケーション開発運用

業務構築に注力

Red Hat Enterprise Linux

アプリケーション

Red Hat Enterprise Linux


インフラ・ネットワーク設定

ミドルウェアミドルウェア

テンプレートを選択するだけ

サーバ、ストレージ、ネットワーク、ミドルウェア一式をパラメタ設定・検証済システム構成のテンプレートとして提供

富士通だけ！


13


NetVault Backup利用者テンプレートの活用例パブリッククラウド

Winodws+SQL +NetVault Backup Client

Winodws+IIS +NetVault Backup Client

Linux +NetVault Backup Client

Windows +NetVault Backup Server

Linux +NetVault Backup Server

■Windows利用者テンプレート、Linux利用者テンプレート共に提供 ■単体仮想イメージからテンプレートの作成もできる ■Windows、 Linux仮想マシン単体を追加可能で、クロスプラットホームもOK! ■各種サポート時間の形態を用意（24hサポート、平日8:30-19:00） ■MS-SQLのオンラインバックアップもできる

Windows+IIS +NetVault Backup Client

DMZ

Secure

Windows +NetVault Backup Server

Windows 2階層システムテンプレート

Linux +NetVault Backup Client

DMZ

Secure

Linux +NetVault Backup Server

利用者テンプレート単体イメージ

追加

追加

Linux 2階層システムテンプレート

バリエーション豊富なNetVault Backup利用シーン

14

グローバル展開

FGCP/S5

日本で契約し、全世界6拠点のFGCP/S5上でRHEL使用が可能


海外5拠点でのサービス開始済みオーストラリア、シンガポール、米国、英国、ドイツ


水業界バリューチェーンクラウドパブリッククラウド活用事例

【ウォータービジネスクラウド（WBC）とは】産官学の優れた「知」を結集して構築した上下水道事業運営に役立つサービス

～メタウォーター様上下水道運営基盤“水事業クラウド”～上下水道の運営・維持管理など、水ビジネスのノウハウを持つ複数プレーヤーによるバリューチェーンをクラウド上に構築

新しいｻｰﾋﾞｽﾒﾆｭｰ随時追加

浄水場下水処理場監視拠点地方自治体受託業者

広域監視ｻｰﾋﾞｽ監視システム一元化

遠隔支援ｻｰﾋﾞｽ新人育成支援

ｱｾｯﾄﾏﾈｼﾞﾒﾝﾄｻｰﾋﾞｽ設備・機械を一元管理


食・農クラウドＡｋｉｓａｉ（秋彩）商品体系パブリッククラウド活用事例


現場から経営まで企業的農業経営を実現するサービスを提供

土地利用型・施設園芸・畜産をカバーする全体体系

組織的マネジメントをサポートするイノベーション支援サービス提供

施設園芸畜産

米・野菜果樹

販売生産経営

経営分析

農業生産管理施設園芸

環境制御

土壌分析

施肥設計

集約

マネジメント

牛歩

肉牛生産管理

販売管理

出荷管理

生産

マネジメント

経営管理

食・農クラウドＡｋｉｓａｉ

提供済提供予定今夏発表

蓄積・分析

イノベーション支援サービス

データ収集利活用

提供予定提供予定今夏発表 7/18発表

7/18発表

7/24発表

17

仮想基盤(KVM)機能強化への貢献

サービス提供機能の強化ゲストCPU使用量を制御できる機能を追加

管理機能の強化

ゲストの構成変更を容易にするAPIを強化し、管理ソフトウェアとの連携向上

保守支援機能の強化デバッグ機能(ダンプ等)を追加装備


クラウドサービス基盤へのKVM適用に向けて、 Red Hatと連携した開発コミュニティでの機能強化を実現


Red Hatとの協業の歩み

2003 2005 2008 2011

● ミッションクリティカルなLinuxソリューションの提供でグローバルに提携

● 基幹IAサーバ『PRIMEQUEST』とRHEL でミッションクリティカルシステムを実現

●RHEL on Cloud （FGCP/S5）提供

RHEL:Red Hat Enterprise Linux

FGCP/S5:Fujitsu Global Cloud Platform

● 長期サポートサービスを共同で開発

Red Hatとの包括的な協業によるミッションクリティカルシステム向けLinuxの継続強化

オンプレミスからクラウドへと発展


ご参考）ミッション・クリティカル実現への取り組み

開発

仮想化の強化 HVMの管理機能強化ダンプ機能強化

保守性の強化カーネルダンプ機能開発ダンプツールの機能改善

拡張性の強化超大規模メモリ搭載時の性能強化

接続デバイス数拡大

コミュニティや Red Hat社と連携し基幹システム向け機能を開発

+

Advanced Mission- Critical(AMC)サポートプログラム

Long Life Support

Extended Update Support (EUS)

サポート

Red Hat社と共同で基幹システム向け

サポートサービスを開発

データベースサーバ

大規模ERP

基幹システム再構築

仮想化基盤

お客様

お客様基幹システムへ

RHELを展開

富士通のミッションクリティカル向けプラットフォーム

（PRIMEQUEST, PRIMERGY） Copyright 2012 FUJITSU LIMITED 20

ビッグデータ活用ソフトウェアご紹介


富士通が目指したい姿

リアルワールド

バーチャルワールド融合

知恵

リアルワールドの写像

センシングリアルワールドへのアクション

ナビゲーション

リアルワールドとバーチャルワールドが密接に連携し、「人に優しい豊かな社会」の実現を目指す

ヒューマンセントリック・コンピューティング

大量データ収集ビッグデータ


クラウド型サービスの概要

１．必要な技術が全て統合されたトータルサービス複合イベント処理、並列分散処理、圧縮・秘匿化、マッシュアップ、etc.

２．異種情報を多様な目的で融合センサーデータ、業務トランザクションログ、テキスト、バイナリストリーム、etc.

３．小さく始めて必要なだけ使うことができる拡張性データ量：数GB～PB級サーバ数：数台～数百台

世界初のビッグデータ対応PaaS

リアルタイム処理ビッグデータ（大量・多様）

の蓄積・分析データのコンテキスト抽出

（意味づけ）


①データ活用基盤サービス（PaaS）

クラウド型サービスの全体像

バリューセンター

キュレーター

アプリ・サービス型（SaaS）

インテグレーション型データ型

スタンダードプレミアム

新商品（V2.0）

お客様がアプリ開発

お客様アプリを富士通が受託開発

肌メモリ（開発中）

センサーなど

ネットワーク

クラウド基盤

④位置情報

サービス（SPATIOWL）

③ソーシャルデータ

分析サービス

②データキュレーション

データ活用基盤サービス


凡例：

お客様データ

外部システム（お客様システム）

エンドユーザー

利用者アプリケーション

お客様開発者／運用管理者

オプションサービス

並列分散処理サービス（PDP）

複合イベント処理サービス（CEP）非構造データ対応

ストレージサービス（UDS）

リレーショナルデータベースサービス

（RDB）

基本サービス


① データ活用基盤サービス

データ収集・蓄積データ検知

データ分析

利用者アプリケーション

エンドユーザー

外部システム（お客様システム）

プラットフォーム共通サービス

サービスポータル

リアルタイム処理と、蓄積・分析・利用に必要な技術をクラウド上に統合したプラットフォームサービスとして提供



② データキュレーション

BI/BA、コンサルタント、分析アルゴリズム研究者等を集約した組織を2011年1月に設立

富士通のコンバージェンスサービスでは、情報を収集・選別し、意味付けを行える技術や知識を持った分析の専門家を「キュレーター」と呼んでいます。従来の意味は、博物館や美術館で施設が収集する資料に関する鑑定や研究、業務の管理監督を行う専門職である学芸員のことを言います。最近は、データ分析の専門家や分子生物学における分析の専門家も示すようになっています。

システムデザイン並列分散処理、CEPなど

アナリティクス多変量解析、機械学習、最適化など

モデリング数学、統計学、金融工学など

× ×

キュレーターの専門スキル

『データから導く』

キュレーター

• 相関関係／因果関係発見

• イベントパターン発見

• パラメータ最適化

• 予測シミュレーション

• ダイナミック最適化

・・・



③ ソーシャルメディア分析サービス

SaaS形式でのご提供のため、ソーシャルメディア分析を手軽に始めることが可能データセクション株式会社との提携により、国内最大規模のソーシャルメディアデータを活用可能

社内の業務データとソーシャルメディアデータを掛け合わせ、課題解決・新規ビジネス創出に活用可能



④ 位置情報サービス(SPATIOWL)

SPATIOWL基盤

道路情報管理システム

災害情報

規制情報

ＳＮＳ

施設情報

ベース地図

苦情・要望

プローブ情報

気象情報スマートフォンアプリで現地から道路状況登録

移動・位置情報収集

・自治体職員・住民・ボランティア

道路状況登録

状況選択

通行困難

要望・クレーム

工事・規制情報登録

・自治体職員

通行可能/不可能道路やその範囲（エリア）を、地図上で確認

住民アナウンス

ボランティア活動支援

企業の運行計画

都市計画、復興計画

走行する車両からのプローブ情報、人や施設の情報、センサー情報、インターネット情報などから収集される大量の位置情報を活用し、新たな価値を提供するサービス



ビッグデータ活用を支えるソフトウェア

１．より使いやすいソフトウェアを追求

～スマートソフトウェアテクノロジー～

２．企業システムに安心して使える親和性と信頼性

３．パートナー製品/OSSを組み合わせたエコシステム

企業システム向けオンプレミス型ソフトウェア

サービス実践基幹システムの実績オープン性の追求

ビッグデータ活用ソフトウェア


オンプレミス型商品の体系

業種・業務ソリューション

運用管理

PRIMERGY/PRIMEQUEST ETERNUS

Big Data Platform

Big Data Middleware ISV OSS

：：

クラウド型サービスと同じ機能を体系的に提供



ビッグデータ活用を支えるソフトウェア製品

Interstage Big Data Parallel Processing Server

Interstage Business Analytics Modeling Server

Interstage Big Data Complex Event Processing Server

Interstage eXtreme Transaction Processing Server

Symfoware Server

並列分散処理

複合イベント処理

分析予測

エクストリームトランザクション

Big Data Platform

Big Data Middleware



ビッグデータを支えるプラットフォーム

並列分散処理(Hadoop)






信頼性と性能を大幅向上させた並列分散処理並列分散処理(Hadoop)

PRIMECLUSTER技術を活用した分散ファイルシステム

信頼性：データ保全性と可用性の向上

性能：業務システムとの高い連携性

Hadoop

HDFS

既存システム

転送

転送


Hadoop標準

ETERNUS

Hadoop

独自分散ﾌｧｲﾙｼｽﾃﾑ

新分散ファイルシステムを利用する場合

内蔵ﾃﾞｨｽｸ

既存システム


共有

33


独自分散ファイルシステムによる性能向上


独自分散ファイルシステム

Apache Hadoop

HDFS互換インターフェース

既存システム


データ共有

標準ファイルインターフェース

0 10 20 30

Apache Hadoop


データ入力 Hadoop処理データ出力

13分 6分 13分

6分

32分

6分

ETERNUS

処理時間は1/5に短縮

１億件のデータのソート＆分割処理の例

データ

共有ファイルを介して既存システムとデータ共有


34



MapReduce COBOL(*1) Pig Hive Asakusa

Framework(*2)

◆Javaアプリ ◆非構造データ処理を含む自由な処理

◆既存のCOBOLアプリを活用

◆Pig Latinデータ・フローを簡単に記述

◆Hive QL SQLの様な問合せ言語

◆Asakusa DSL 業務バッチ・処理/運用手順

*1)提供予定の機能です。 *2)株式会社ノーチラス・テクノロジーズで開発されているOSSです。

多様なアプリケーション形態に対応並列分散処理(Hadoop)

35


Interstage BDPPS*の優位性

高性能

0 2000 4000 6000 8000 10000 12000

0 2000 4000 6000 8000 10000 12000

I/O負荷が高い処理

CPU負荷が高い処理

処理データ入力データ出力

2260秒

967秒

4806秒

3733秒 1/3に短縮

1/9に短縮

2時間19分

16分

3時間2分

1時間2分

22%短縮

57%短縮

ApacheHadoop

Interstage BDPPS

ApacheHadoop

※当社モデルによる性能例

Asakusa Frameworkとの協業

高い開発効率 ◆Asakusa Frameworkによるバッチ処理アプリの開発効率化

安定運用 ◆Hadoopの単一障害点解消 ◆統合運用管理(Systemwalker)連携

※Asakusaを利用した場合

*Interstage BDPPS: Interstage Big Data Parallel Processing Server

Interstage BDPPS


36


Asakusa Framework(*)とは

Hadoopの業務バッチ処理アプリケーションを

広範囲に支援する「フル・スタック」のフレームワーク

Asakusa DSL

DSL コンパイラ

（自動生成）

MR #1

MR #2

実装

フレームワークコンパイラ

データモデリングテストツール

運用連携

*株式会社ノーチラス・テクノロジーズで開発されているOSSです

MapReduceアプリケーション簡易スクリプト言語

◆ジョブ ◆フロー ◆オペレータ


37

使いやすさを徹底追及した複合イベント処理

Interstage Big Data Complex Event

Processing Server


エンジン高速フィルタ

家電ID,

電力使用量アクション

マスタデータ

家電ID,

電力使用量

業務で使っている名称でルール記述

マスタデータを高速に結合

イベント

インメモリデータマッチング技術による高速フィルタ Interstage Shunsakuの技術を採用

使い易いルール言語 IF THEN型とSQL型の使い分けが可能業務マスタの結合をシンプルに記述

特長




ビッグデータを支えるミドルウェア製品


Symfoware Server

Interstage Business Analytic Modeling Server


高信頼なエクストリームトランザクション

DBサーバ


独自のメモリ制御技術による安定レスポンスホットスポット・ミラーリング技術によるデータ保証と性能の両立

特長

SSD*1に最適な並列I/O技術で、OLTP性能を10倍向上高圧縮技術によりメモリ使用量を5分の1

特長

Symfoware Server V11

*1：Solid State Drive 従来システム

DBサーバ

Web/APサーバ


これからのシステム

Symfoware Server V11

Web/APサーバ

分散キャッシュ

インメモリDB


非構造データも含めた高精度な分析予測

テキストを解析し、文意で判別して、非構造データを集計業界最高水準の機械翻訳技術（ATLAS）を活用

複数事例の情報を統合し、トラブル発生パターンをモデル化イベント(事象)間の因果関係を表すイベント連鎖モデルを自動構築(特許出願済)

特長

Interstage Business Analytics

Modeling Server

重大トラブルの予兆検知

分析

・テキスト解析

・機械学習

・統計解析・マイニング

Event 2 Event 4

Event 1

Event 3

Event 5

Event 6

Event 7

イベント連鎖モデルによる原因分析・

トラブル再発防止

トラブルレポート

(事例DB）

SNS

ソーシャルメディア

Interstage Business Analytics Modeling Server


最後に


まとめ


オンプレミス型とクラウド型の両輪でお客様に最適なソリューションを提供

オープンソース技術（Linux/Hadoop等）

オープンソースと独自技術を融合

富士通のミッション・クリティカル

技術

43

クラウドコンピューティングへの投資および製品・技術開発を継続します

これまでの経験による製品強化、 Red Hatとのコラボレーションを継続します

お客様に信頼されるパートナーとなり、共に成長してまいります


富士通のクラウド情報サイト

ソリューションラインナップ、クラウド導入事例、各種セミナーのご案内など、クラウド情報満載のサイトです。是非一度、ご覧ください。

■申し込みサイト開設■対象サービス：・ＦＧＣＰ/S５

富士通クラウドダイレクト

【画面イメージ】 http://jp.fujitsu.com/solutions/cloud/ec/



「ビッグデータ活用を支えるソフトウェア」として専用サイトを公開 http://software.fujitsu.com/jp/middleware/bigdata/

ビッグデータ商品の情報サイト

富士通フォーラム2012 東京セミナーレポート

ビッグデータをいかに業務に適用していくか？富士通の先進事例を交えながらビッグデータ活用のポイントや富士通の取り組み、ビッグデータ活用ソフトウェア製品をご紹介しています。

46

富士通が実現するビッグデータ時代の クラウドサービス基盤と活...

Documents

富士通が実現するビッグデータ時代のクラウドサービス基盤と活...