hadoop conference japan 2016 lt資料 グラフデータベース事始め
Post on 11-Jan-2017
4.155 views
TRANSCRIPT
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グ ラ フ データベース事始め
日本オラクル株式会社 ビッグデータ系の製品とか担当エンジニア
中井亮矢([email protected])
1
Hadoop Conference Japan 2016 ライトニングトーク
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
•以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
3
何気に人気の グラフデータベース
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフブーム到来
4
出典:日経コンピュータ,ITPro 出典:TechTarget Japan
出典:IT Leaders
出典:@IT
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフデータベース構築!
5
(*´∀`*)
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフデータベース サンプル動かしました! 映画俳優、共演、可視化!
\(*T▽T*)/ 6
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフデータベース性能! 大規模!スケール! 沢山トラバーサル (`・ω・´)キリッ
7
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
が、、、 ふと立ち止まる・・・ (´・ω・`)
8
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 9
何に使えば・・・・ (ノω・、)
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
主たる(期待される)用途
いろんな非構造データの 受け皿・分析
10
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
受け皿
スキーマレス 色んなデータ
あなた色で受けとめる
(*/∇\*) 11
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
分析
知る 数値化,全体構造/個体の位置
見る 可視化
切る クラスタ・スコアリング
12
尊敬(Level:中)
信頼(6)
便利(頻度:週一) (事例:援軍)
尊敬(Level:兄貴) 殺意(Level:MAX)
便利 [頻度:毎日] [事例:草履/殿軍]
恐怖(対象:没後) (対応:隔離)
3
1
2
2
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
よろしい ならば分析だ
( ゚д゚ )クワ
13
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ありがちモデリング
14
( ・∀・)
( ・ὢ・ ) (´▽`)
(๑•﹏•) (´・ε・ ̥ˋ๑)
ソーシャルデータ
(・ ิω・ ิ )
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
そんなデータ 社内にねぇ
FBデータも買えねぇよ ヽ(`Д´#)ノ
15
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
そんなあなたに
2部グラフ
16
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
メールなんて結構お手軽
17
( ・∀・) ( ・ὢ・ ) (´▽`)
(๑•﹏•) (´・ε・̥ˋ๑)
(・ ิω・ ิ )
メーリングリストA
スレA スレB 投稿
投稿
レス レス
レス レス レス
レス
スレ単位もよし From/Toだけもよし キーワードでもよし
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 18
( ・∀・) ( ・ὢ・ )
(´▽`) (๑•﹏•) (´・ε・̥ˋ๑)
(・ ิω・ ิ )
人間グラフも作れます
graphM %*% t(graphM)
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 19
スレのクラスターも作れます
スレB
スレC
スレD
スレA
スレE スレF
スレG
メールの全自動仕分け
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 20
Visualized by Cytepscape
可視化
そのまま可視化でもなんかわかるかも
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ化の前に
21
メール アーカイブ
CC: も追加 投稿数で重みづけ レスの多さで重みづけ 投稿内容をQAと情報提供で分類 投稿文書のキーワード抽出 メーリングリストも対象に
少し味付け あとは結構、力技
正規化
集計(group by)
形態素解析
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ技
22
重要情報発信者 隠れコミュニティ 隠れスキルホルダー
影のメーリス王者 コミュ活性化のカギ ハブられっ子
コミュニティ抽出 コンダクタンス
巨大ファイルアタッチメント派閥 座敷童 情報伝達の方向
わかるかもしれないこと
スコアリング
媒介中心性 近接中心性 固有ベクトル中心性 可視化
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
仕事じゃねぇ ヽ(`Д´#)ノ
23
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 24
商品C 商品D 商品A 商品B 商品E
顧客A 顧客B 顧客C 顧客D
売上単位でもよし 伝票単位でもよし 商品カテゴリでもよし
売上データ・・・
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
可視化
25
データ出典:新潟県ITビジネスフォーラム データ分析の勧め
でっかいオーダーは 食彩鍋が基本でサイズ違いが同じ店舗で売れている
総売り上げのでかい天ぷら鍋は意外とでっかいオー
ダーに絡んでない
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
商品 データ
グラフ化の前に
26
注文単位 店舗単位 売上額で重みづけ 売上個数で重みづけ 商品の粒度 商品カテゴリ 顧客の属性 店舗の属性 商品の属性
少し味付け あとは結局、力技
正規化
集計 (group by)
統計
技術者魂
店舗 データ
売り上げ データ
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ技
27
売上優秀店舗の共通点
商品のクラスタ 隠れ優良店舗
隠れ優良商品
コミュニティ抽出 コンダクタンス
店舗のクラスタ
意外な売れ線
顧客のクラスタ
わかるかもしれないこと
スコアリング
媒介中心性 近接中心性 固有ベクトル中心性
新規セット販売商材への道
商品の隠れた属性
可視化
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ技
28
売上優秀店舗の共通点
商品のクラスタ 隠れ優良店舗
隠れ優良商品
コミュニティ抽出 コンダクタンス
店舗のクラスタ
意外な売れ線
顧客のクラスタ
わかるかもしれないこと
スコアリング
媒介中心性 近接中心性 固有ベクトル中心性
新規セット販売商材への道
商品の隠れた属性
可視化
結局やることはほとんど同じです
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
行形式のデータでも、、
29
伝票番号 商品CD 商品名 大分類名 分類名 売上日 得意先名 売上数
売上金額 粗利益
1001439 2305200 Pオイルポット 1.2L 鍋類 フライパン 2012/7/1 B配送センタ 44 15620 2640
accessログでも crawl139.tkl.iis.u-tokyo.ac.jp - - [08/Feb/2016:05:57:47 +0900] "GET /uploads/2012/03/20140530-A1-10-low.jpg HTTP/1.1" 304 - "http://www.takahiroyoshikawa.com/ja/concert/" "Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)"
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
たいてい関心事を絡めて グラフを興せます
30
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 31
データを 探す
データを 突っ込む
知る 見る 切る
なんか 分かる
味付けを 探す
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
さあ、 データを探そう!
32
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
PGX Parallel Graph AnalytiX (PGX) • 並列グラフ解析エンジンPGX
– Oracle Labの成果物PGXをベースに実装されています
– 製品版(Big Data Spatial and Graph)は、これをベースに拡張されたものになります
– Apache TinkerPop対応
– 30超のアルゴリズム実装 • 中心性演算,SALSA, 頂点被覆,PageRank,コミュニティ抽出,グラフ変換,弱連結成分抽出,counting triangle...etc.
– 並列グラフ演算は昨今活発に研究開発が行われている領域になりSCなどのHPC領域でもOracle Laboratories からの論文発表も活発に行われています
• Oracle Lab版PGXはOTNのOracle Labsからダウンロードして利用可能です
33
Oracle Technology Network >> Oracle Labs >> Parallel Graph Analytics >> Overview Welcome to Parallel Graph Analytics (PGX) http://www.oracle.com/technetwork/oracle-labs/parallel-graph-analytics/overview/index.html
ロイヤリティフリー (OTN License)
このページは広告です
>>>スキップする
Oracle PGX
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ご清聴ありがとうございました
その他、Hadoop関連Oracle製品↓ www.slideshare.net/oracle4engineer/
oraclehadoop
34
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 35
0120-155-096 (平日9:00-12:00 / 13:00-18:00)
http://www.oracle.com/jp/direct/index.html
各種無償支援サービスもございます。
Oracle Direct 検索
Oracle Direct あなたにいちばん近いオラクル
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 36
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 37