brainpad inc. company profileadvanced-infra.sakura.ne.jp/sblo_files/advanced... ·...

ビッグデータ時代に求められるデータ解析技術とその活用事例

Big data, Big innovation

Brainwork for your Success

2012/6/21

株式会社ブレインパッド

©BrainPad Inc. 2012, All rights reserved.

プロフィール紹介

Big data, Big innovation 1

【講師プロフィール】株式会社ブレインパッド経営企画室長宍倉剛(ししくらつよし) 1972年生。大手流通企業でのバイヤー、商品開発、販売促進担当を経て、2005年ブレインパッド入社。会社の創業期より、アナリティカルサービス部門の立ち上げに参画。部門責任者を務めるかたわら、自らもコンサルタントとして金融、流通など大手クライアントのデータ分析支援や業務プロセス改善に携わる。 2012年1月より現職。現在は経営企画室長として、自社の経営戦略や新規事業開発の責任者として、ビックデータ戦略に携わる。


アジェンダ


ブレインパッド会社紹介

ビッグデータについて

データ解析技術について

ビッグデータの将来性

マーケティング領域におけるデータ解析事例

インフラ領域におけるデータ活用


アジェンダ









会社概要(2012年6月1日現在)


【商号】株式会社ブレインパッド（英文 BrainPad Inc.)

【住所】東京都品川区東五反田5-2-5 KN五反田ビル

【設立】 2004年3月18日（決算日6月30日）

【資本金】 325,401,000円

【社員数】 115名

【市場】東証マザーズ証券コード：3655

【代表者】草野隆史

【事業】アナリティクス事業ソリューション事業 ASP関連事業


事業概要


“ビッグデータを活用した、企業に新たな収益を生み出すイノベーションのご支援“

総合な意思決定支援サービス

データ蓄積と活用の啓蒙

分析手法の開発・実施代行

総合的なコンサルティング支援

オペレーション化・システム化支援

ノウハウを組み込んだ独自ツール開発

出典：総務省、我が国の情報通信市場の実態と情報流通量の計量に関する調査研究結果(平成21年度), August 2011

拡大するギャップ

情報量の推移（2001年＝100）

ギャップを埋めるための総合的なサービス


サービス概要


マーケティング領域のデータ活用支援

アナリティクス事業企業の蓄積データの分析業務の受託

ソリューション事業 CRM＆分析ソフトの販売やシステム構築

ASP関連事業分析技術を利用したサービスのASP提供

インターネットの普及により、もっとも大きな環境の変化が起こっているマーケティング領域にフォーカスを絞り、データマイニング技術を活用した顧客企業のデータ活用支援の3事業を展開。


アジェンダ









高まるビッグデータへの注目


出典：データは日経テレコン21（記事検索サービス）による当社調べ

2011年8月頃より急激に「ビッグデータ」への注目度が上昇。

0

50

100

150

200

250

300

6月 5月 4月 3月 2月 1月 12月 11月 10月 9月 8月 7月 6月 5月 4月 3月 2月 1月 12月 11月 10月 9月 8月 7月

2012年 2011年 2010年

「ビッグデータ」の語を含む記事件数の推移


ビッグデータというフロンティア


0.8

35

0

5

10

15

20

25

30

35

40

2009 2020

世界で生成されるデータ量の爆発的増加

source: IDC Digital Universe Study, Sponsored by EMC, May 2010

（単位: ZB）

source: McKinsey Global Institute, May 2011

世界のデータ量は今後、10年で約44倍に

米国IDCは、2009年に0.8ゼタバイト（8,000億GB）であった生成データ量が、2020年には35ゼタバイトにまで達すると予測しています。また、米国McKinseyは、そのレポートの中で、このようなビッグデータこそが“イノベーション、競争力向上、生産性向上のための次なるフロンティア”であると表現しています。


ビッグデータと期待経済価値


広範囲な有効事業ドメイン

Big dataは複数のセクターで大きな経済価値を創出可能です。

分析が生み出す期待経済価値

米国ヘルスケア欧州公共事業

グローバルでの個人位置情報データ

米国流通業製造業

Bigdataビジネスは一部のIT企業、SIerだけに収益をもたらすのではなく、さまざまなセクターでのデータ活用が期待されており、従来のビジネスをより高度化することに加え、生活スタイルを一変させてしまうような新たなビジネス機会の創出といったことも期待されています。


価値創造の方法


価値を生み出す5つの方法：第１ Big dataを利用する事により著しく大きな価値を解き放つ事が出来る。第２リーディング企業はより正しい意思決定が出来るようになる。第３ big dataによりかつてない詳細な顧客セグメントを作る事が出来る。第４分析が意思決定そのものを改善する事が出来る。第５ big dataによって次世代製品やサービスの開発をより正しいものにする事が出来る。

Big dataの利用は、生産性の成長とより多くのコンシューマー・サープラス（消費者余剰：消費者が得る便益に対し追加で支払う金額）の獲得を支える新しい方法です。（中略）例えば、個人位置情報データを利用したサービスを提供する事で、消費者は4,800億円の消費者余剰金支払うと考えられます。

出典： McKinsey Global Institute, May 2011


ビッグデータとは？


ビッグデータ (Big data)は、2009年頃から提唱され始めた情報技術産業における新たなターム。通常のデータベース管理ツールなどで取り扱う事が困難なほど巨大な大きさのデータの集まり（構造化データ＋半構造化データ＋非構造化データ）であり、その格納、検索、共有、分析、可視化などに困難さを伴う。（Wikipediaより）


ビッグデータの具体例


ビッグデータ

構造化データ

非構造化データ

データベースに格納できるタイプのデータ一定の法則に沿って、決まった形式のデータが蓄積されるもの ex）売上情報、POS、Webログ等々

データベースに収まらないデータテキスト情報のように、決まった構造定義を持たないデータ。非SQLグラフDBが用いられる ex） SNS、カルテ、通話記録、画像データ等々

✔「ビッグデータ」と言うとき、数百テラバイト～ペタバイト以上の、膨大なデータを指すことが多いとされる。

✔ただし処理出来ないデータボリュームであるという定義においては、絶対的な量の多さではなく、組織における相対的な量の多さが課題となる。


“Big Data Challenge”


Volume: 組織内のデータ量は、新しい種類のデータによってだけでなく、トランザクション量の増加や伝統的な種類のデータによっても増加する。 Variety: ITリーダは、膨大な情報から意思決定を導出するという問題を常に持っている。今や分析すべき情報の種類は多分にある－主なものはソーシャルメディアや携帯端末から得られる。(データの) 種類には、表形式のデータ(データベース、)階層データ、ドキュメント、メール、計測データ、ビデオ、静止画、音声、株価、金融取引などを含む。 Velocity: 速さとは、データストリーム、構造化記録の作成、アクセス・配信可能性を含む。速さとは、どれだけ早くデータが生成されるか、どれだけ早く必要に合った処理がなされねばならないかの双方意味する。

出典：ガートナー2011・2012レポート

✔ 2015年までを通じ、Fortune 500企業の85%以上が、ビッグ・データを競合優位性確保のために効果的に活用することに失敗すると言われている。

⇒データ自体の複雑さ・データ解析の複雑さ(Complexity)が課題。


ビッグデータを読み解く３つのポイント


１．データを貯める技術クラウド技術など大規模データをリーズナブルに蓄積する環境が整い、データを保存するためのコストが低減する傾向。

２．データを高速処理する技術「Hadoop(ハドゥープ)」といわれる分散処理の技術により、これまで何時間もかかっていた更新処理やサンプリングにより行っていた処理が、短時間で高速処理が可能に。

３．データを分析する技術データマイニングに代表される高度なデータ解析技術をビッグデータ解析に活用していく流れに。


行動データを活用したマーケティング事例


買い物カゴの中身で妊娠を判定するミネアポリスにあるターゲット店舗に、高校生の娘を持つ父親が「娘にゆりかごのクーポンを送るとは、妊娠を勧めているのか」と怒鳴り込んできたという。その後マネージャーが謝罪の電話を入れると、逆に謝り始めたのは父親で「自分が知らない間に娘が臨月に迫っていた」と言うのだ。家族以上に、ターゲットは消費者のことを非常に良く分析していたのだ。

出典：日経ビジネスオンラインより一部抜粋

著作権コンテンツのためマスキングさせて頂きます。


位置情報を活用したサービス事例


スキー場や空港に到着した瞬間、保険案内メールが届くワンタイム保険は、東京海上日動火災保険と提携しスポーツ・レジャー保険、国内、海外旅行保険などを携帯電話から簡単に契約できる保険サービスだ。ユーザーがスキー場に到着、空港に到着すると同時に目的に合った保険案内情報がプッシュで携帯電話にメールが届く。タイミングよく保険情報が届くので、保険契約の可能性は高まり、ユーザーにとっての利便性も向上する。

出典： EnterpriseZineより一部抜粋



位置情報を活用したサービス事例


送信メールの開封ログから位置を特定。周辺サービス案内をするターゲティングメールを送信

ユーザーの位置情報

ユーザーの位置情報


ソーシャル・マーケティングの事例


コンシューマーが参加したくなる「場」を提供する「Nike＋」の展開 iPhoneのGPS機能を活用したアプリ「Nike+ GPS」や加速度センサーが搭載されている最新のiPod nanoなどと連携することで、自分の走った距離やコース、速度、カロリーなどのデータが記録されていくというツール…(中略) Webサイト上で個人やチームの走行距離を競うこともでき、みんなとのつながりを意識しながら楽しめるサービス。

出典：ネット広告ガイド企業事例より一部抜粋



アジェンダ









2016年までのITロードマップ(ビッグデータ編)


出典：株式会社野村総合研究所ニュースリリースより抜粋

インフラ+新規事業領域でのビッグデータ化は進む。各企業においても、初期段階でデータ処理の効率化や分析精度向上といったイノベーションは進む。


2011年度はBIを中心に1,900億円


出典：矢野経済「ビッグデータ市場に関する調査結果 2012」より一部抜粋

◆ 2011年度のビッグデータ市場は1,900億円、しかしデータ分析に対するニーズは限定的な範囲に留まる現時点では、ビッグデータを分析しマーケティング等に活かすことに注目が集まっており、BI（ビジネス・インテリジェンス）が市場の大部分を占める。 2011年度のビッグデータ市場規模は、ソフトウェアライセンス、システム構築、ハードウェア、保守までを含めて1,900億円と推計した。しかし、データ分析によって得た情報を事業に活かすことは、技術面・業務面共に困難が多いため、ビッグデータ活用に失敗する企業も増加し、データ分析に対するニーズは限定的な範囲に留まる。ビッグデータ市場がデータ分析のみを対象にしていては、今後の成長は限定的。


①短期（2011年度～）：データ分析を中心に、売上向上、スピード経営を狙った投資が活発化する

②中期（2015年度頃）：ビッグデータを使い、競争優位を狙う投資が促され業界構造変革につながる

③長期（2017年度頃）：ビッグデータ技術がスマートシティのインフラに活用されるなど、社会の無駄や余剰の最適化が実現する

2020年度には1兆円市場に成長


出典：矢野経済「ビッグデータ市場に関する調査結果 2012」より一部抜粋

◆ 2020年度にはビッグデータ市場は1兆円を超え、スマートシティのインフラへ発展ビッグデータ市場が成長するシナリオと市場への影響を、短期・中期・長期の3段階に分けて作成。現在と2020年ではビックデータの位置づけや役割は大きく変わる。


2013年に起こること


日本では、IT戦略本部が2010年5月11日に公表した「新たな情報通信技術戦略」で、「オープンガバメント等の確立」を掲げている。また、2010年6月22日に公表した「新たな情報通信技術戦略工程表」では、オープンガバメント推進に向けて、2013年までに二次利用可能な形で行政情報を公開、原則全てインターネットで利用可能にするという目標を設定。

http://www.kantei.go.jp/jp/singi/it2/100511honbun.pdfhttp://www.kantei.go.jp/jp/singi/it2/100511honbun.pdfhttp://www.kantei.go.jp/jp/singi/it2/100622.pdfhttp://www.kantei.go.jp/jp/singi/it2/100622.pdf


政府統計（一部抜粋）


・地域メッシュ統計・国勢調査・住宅・土地統計調査・住民基本台帳人口移動報告・人口推計・労働力統計・就業構造基本調査・社会生活基本調査・科学技術研究調査・サービス産業動向調査・サービス業基本調査・事業所・企業統計調査・経済センサスー基礎調査・家計調査

・貯蓄動向調査・全国消費実態調査・小売物価統計調査・全国物価統計調査・消費者物価指数・貯蓄動向調査・医療施設調査・作物統計・海面漁業生産統計

その他、道路、河川、犯罪、地方自治体等に関する調査


ジオコーディングによるエリア分析




ビッグデータに関するまとめ


ビッグデータ関連のＩＴシステム投資意欲は旺盛で、今後（短期的に）需要は増える

ビッグデータ関連の投資増加に合わせてクラウドサービスの普及も進む

各企業におけるIT投資は“守り“から”攻め”転換していく

ビッグデータを保有する企業が関連サービスをけん引する

テレマティクス分野、M2M分野でのビッグデータ活用が進む

マーケティング、金融といった領域においてデータ活用が進み、データ解析精度も飛躍的に向上する

ビッグデータ化してからでは分析難易度は飛躍的に高くなる。いまからデータ分析に関する情報収集・トライアルを行っておくべき


課題


データ活用により、事業会社のビジネスがより精緻になるが、投資に見合う効果を各社が出すことができるかは、別問題

データ活用が進むつれ、プライバシーの問題が重要となる

データ分析の大部分が自動化されるようになると、ホワイトカラーの生産性について新たな定義が必要となる

データ分析・データ解析の技術の十分な提供とともに、企業の経営側の体質改善が不可欠

システム部門、営業部門との在り方の整理が必要となる

データ解析を行うデータサイエンティストの採用・育成がカギ


アジェンダ









データ分析の5段階


出典：IBMホームページより


データマイニングとは？


データマイニング（英語: Data mining）とは、統計学、パターン認識、人工知能等のデータ解析の技法を大量のデータに網羅的に適用することで知識を取り出す技術。DMと略して呼ばれる事もある。通常のデータの扱い方からは想像が及びにくい、ヒューリスティック（heuristic、発見的）な知識獲得が可能であるという期待を含意していることが多い。英語ではknowledge-discovery in databases（データベースからの知識発見）の頭文字をとってKDDとも呼ばれる。（Wikipediaより）

http://ja.wikipedia.org/wiki/%E8%8B%B1%E8%AA%9Ehttp://ja.wikipedia.org/wiki/%E7%B5%B1%E8%A8%88%E5%AD%A6http://ja.wikipedia.org/wiki/%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98http://ja.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BDhttp://ja.wikipedia.org/wiki/%E7%9F%A5%E8%AD%98http://ja.wikipedia.org/wiki/%E3%83%92%E3%83%A5%E3%83%BC%E3%83%AA%E3%82%B9%E3%83%86%E3%82%A3%E3%82%AF%E3%82%B9


仮説検証型から発見型・実証型アプローチに


従来までの集計分析や経験則に基づく「仮説検証型」の分析アプローチでは、年代や性別、RFM軸による切り口で顧客を分類することが広く行われていますが、分析者によるバイアスがかかった結果となったり、良い結果が得られるまで、同じ作業を繰り返さなければいけないといった問題が発生します。こういった問題を解決するために、統計解析や機械学習の手法を用いた「仮説発見型」のデータマイニング手法がとられることが多くなっています。

仮説検証型の分析

年代×性別でクロス集計を実施して購入者の特徴を確認、結果がイマイチなので年齢を5歳刻みで再度集計し直してみるか・・・商品の購買回数や購買単価が重要そうなので集計に加えてみると、年代×性別×購買回数別に購買単価を見ると・・・うーんセグメントが多すぎて解釈が難しいな・・・もう一度やり直そうか・・・

分析者のスキルに依存繰り返し検証分析が必要

仮説発見型の分析

分析者のスキルに依存しない

数時間でモデル作成が完了

購入者を予測するモデル作成して結果を確認、上位30％で約60％の顧客を捉えられているから、まずまずの結果だな。まだ時間もあるし、変数を追加したらもっと結果が良くなるかもな・・・モデル結果がかなり良くなってきたのでこれでテストを行ってみようかな・・・


代表的なデータマイニング手法


データマイニング手法

将来発生する確率（購入する確率や金額等）を過去の実績データから予測主な手法：重回帰分析、決定木、ロジスティック回帰等例)来月のDMに反応する顧客の確率を算出する。

確率予測

顧客をいくつかの特徴の似通ったグループに分類主な手法：階層クラスター法、K-mean法等例)コミュニケーション戦略を立案するために購買パターンで顧客をセグメンテーションして、それぞれに違った施策を開発する。

分類

商品Aを買った後に、商品Bを購入するといった購買組み合わせパターンを発見主な手法：強調フィルタリング、アソシエーション、バイグラム等例) アマゾン、おむつとビール、流通小売ターゲットの事例

パターン分析

日々の売上や客数のような時系列の推移を予測主な手法：ARIMA等例)天気・気温等の気象情報から翌日の集客数を予測する等

将来予測

文章を単語、文節で区切り出現頻度や共出現の相関等の関係性をを分析し有用な情報を取り出す手法例)顧客からの問合せやSNS等の膨大なコメントから情報を抽出する等

テキストマイニング


7勝

2勝 3勝

2勝 1勝

データマイニングの優位性


商品Aを買うお客様商品Aを提案

商品Bを買うお客様

商品Cを買うお客様

商品Bを提案

商品Cを提案

凡例

データマイニング顧客情報・取引履歴等

からデータ分析

14勝3敗

セグメント年代・性別

エリアなどで分類

8勝9敗

セグメント

マス (自然分布)

7勝10敗

セグメント

負け

一人ひとりの購買確率を算出する。獲得精度が遥かに高い。


データマイニングから得られる知見


0 0.01 0.02 0.03 0.04 0.05 0.06

顧客登録年

債券保有銘柄数

当月投信買金額

債券外国債保有

当月取引回数

9ヶ月前債券買金額

MRF金額

直近2ヶ月内_償還済外国債有無

翌2ヶ月内_償還外国債有無

債券外債2年保有

性別区分


債券国内社債保有

投資目的区分

年齢

総資産


当月債券売金額

外貨建MMF

債券国内債保有

当月株式売金額

3ヶ月前取引回数

セミナー申込回数

全商品最終取引_ヶ月前

4ヶ月前投信売金額


当月投信売金額

セミナー出席回数

他社投オープン

債券国内国債保有

支店取引有無


投信保有


株式保有

債券外債10年以上保有








債券国内地方債保有

債券国内社債3年保有

債券国内社債4年保有

満足度区分

最終EZログイン_ヶ月前

EZ取引有無

預り金額

-0.04

-0.02

0

0.02

0.04

0.06

0.08

0.1

0.12

[0 ; 2] [3 ; 6] ]15 ; 20] ]20 ; 62] [7 ; 11] [12 ; 15]

1.顧客登録年

2.債券保有銘柄数

データマイニング結果からは、解析の目的とした事象が何に影響を受けているのかをアウトプットします。大量のデータから必要な変数を抽出し、その影響度合いを序列化することが可能です。

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

0.15

0.2

0.25

[2 ; 60] [1] [0]


データマイニングの効果


(タテ軸)DMに反応する顧客 100%

① とにかく全員に・・・

② セグメントして上位から・・・・

40%

30%

セグメント上位から、お客様を並べる 30・40代 50代以上 20代

30%

①自然分布②セグメント

100%

③ データマイニングして、確率上位から・・・

30%

70%

40%

30%

確率上位から、お客様を並べる

(タテ軸)DMに反応する顧客

③データマイニング

(ヨコ軸)全顧客 (ヨコ軸)全顧客

(確率高) (確率低)


データマイニングによる収益改善の事例


各10％毎上位30％上位50％

10% １～7,5000番目 657 45%

20% 75,001～１50,000番 318 22%

30% 150,001～225,000番目 180 12%

40% 225,001～300,000番目 122 8%

50% 300,001～375,000番目 64 4%

60% 375,001～450,000番目 33 2%

70% 450,001～525,000番目 29 2%

80% 525,001～600,000番目 9 1%

90% 600,001～675,000番目 14 1%

100% 675,001～750,000番目 22 2%

1,450 100%

含まれる確率順に並べたお客様の数

予測上位

％

総お申込み実件数

93%

80%

実際にお申込されたお客様1,450人の、予測した以下の枠に含まれていた割合　（分布）

実際にお申込されたお客様の

件数

データマイニングを事前に実施し、その結果をマーケティングに活用した場合、上位半分(37.5万人)にＤＭをだすだけで・・・・ＤＭ1通が郵送料込みで60円とすると2,250万円の削減！ 75万人にＤＭを出して場合の申込数と比較して、93％の顧客を獲得！

各10％毎上位30％上位50％

10% １～7,5000番目 657 45%

20% 75,001～１50,000番 318 22%

30% 150,001～225,000番目 180 12%

40% 225,001～300,000番目 122 8%

50% 300,001～375,000番目 64 4%

60% 375,001～450,000番目 33 2%

70% 450,001～525,000番目 29 2%

80% 525,001～600,000番目 9 1%

90% 600,001～675,000番目 14 1%

100% 675,001～750,000番目 22 2%

1,450 100%

含まれる確率順に並べたお客様の数

予測上位

％

総お申込み実件数

93%

80%

実際にお申込されたお客様1,450人の、予測した以下の枠に含まれていた割合　（分布）

実際にお申込されたお客様の

件数

80％ 93％


マーケティング領域における最適化


データマイニングの結果、顧客一人ひとりに膨大な数の予測情報が付与されます。

理論上は、これを活用することで効率的なマーケティングが実現できるのですがいくつかの

問題が残ります。

最適なコストアロケーションを行い、効果を最大化する


マーケティング領域における最適化


単純計算で、100万人の顧客に、4つの商品を、３つのメディアで告知する場合の施策の組合せは、２の1,200万乗通りとなります。この中で、商品の在庫数や粗利、キャンペーンメディア別の単価や制約条件（ｺｰﾙｾﾝﾀｰのｷｬﾊﾟｼﾃｨ）を満たし、マーケティング予算内で、もっとも効果的な組合せを一つみつけることを最適化計算と呼んでいます。

× × ＝２

12,000,000

１

100万顧客 4アイテム 3チャネル

最適なコストアロケーションを行い、効果を最大化する

オファーをするしない1/0


マーケティング領域における最適化の事例


住宅ローン

教育ローン

マイカーローン

ローンカード

投信

ダイレクトメール

電話

eメール

投資信託を電話で（最高確率：予測モデル 5の結果）

ローンカードをダイレクトメールで（最高確率：予測モデル 1の結果）

住宅ローンをお電話で（予測モデル 8）

マイカーローンをイーメールで (予測モデル15)

ローンカードをダイレクトメールで（最高確率：予測モデル 1の結果）

4.7%

1.2%

3.9%

0.4%

5.7%

0.4%

2.2%

2.2%

1.4%

ローンカード投資信託住宅ローン教育ローンマイカーローン

ダイレクトメール予測モデル１予測モデル 4 予測モデル 7 予測モデル 10 予測モデル 13

電話予測モデル 2 予測モデル 5 予測モデル 8 予測モデル 11 予測モデル 14

E-Mail 予測モデル 3 予測モデル 6 予測モデル 9 予測モデル 12 予測モデル 15


さまざまな制約下の元で最適化計算を行う


No.1 送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

No.2 送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

No.3 送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

No.999,999 送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

No.1,000,000 送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

送る or

送らない

【制約条件】顧客一人あたり連絡は1回のみ

【制約条件】 2,000個まで在庫上の限界

【制約条件】 3,000個以上発注ずみ引き当て在庫

【制約条件】 DM印刷数は、 1万通以上 1,000ロット単位

＝粗利 5,000円＝粗利 3,000円＝粗利 4,000円＝粗利 8,000円

＝コスト 5円＝コスト 150円＝コスト 1,000円

とした場合、売上を最大にする組合せは？粗利を最大にする組合せは？

これらの制約条件を満たして、かつ

【制約条件】月間架電可能数上限3万件


アジェンダ









ビッグデータを活用した弊社事例①


Cloudstock(クラウドストック)

顧客情報

クラウド＋＝既存事業に付加価値

◆クラウド環境へのデータアップロード⇒低コスト化

◆高速な分析環境⇒施策をリアルタイムでチューニング


ビッグデータを活用した弊社事例②


ライフログ分析

顧客情報

パネルデータ＋＝既存事業に付加価値

◆パーミッションのとれたパネルデータを用いて、パネルユーザーがどのような検索行動をしているのかを情報収集しデータ解析

自社サイト

DB

Web サイト

DB

Web サイト

Web サイト

Internet




自社来訪のうち重複なし：5,331 UU

X社 8,457 UU 2,139 UU

(18.4%)

B社 6,138 UU

1,332 UU 11.5%

C社 6,368 UU

1,137 UU 9.8%

D社 4,585 UU

1,079 UU 9.3%

E社 5,028 UU

1,072 UU 9.1%

F社 2,023 UU

571 UU 4.9%

G社 1,119 UU

491 UU 4.2%

H社 678 UU

304 UU 2.6%

I社 741 UU

188 UU 1.6%

J社 200 UU

76 UU 0.7%

36

12

17

15

12

7 10

XX ・・・重複のうち、対象サイトでのCV数

（参考）重複なしCV：17 ⇒CV全体の20%

自社と各社の重複状況

顧客の行動視点から新たな競合の発見




競合との“勝ち負け”が分かる

自社来訪ユーザ

競合B社来訪ユーザ

比較検討層


競合D社来訪ユーザ

比較検討層

自社にとって負け自社

来訪ユーザ競合E社来訪ユーザ

比較検討層


競合C社来訪ユーザ

比較検討層

38%

16%

20%

27%

62%

84%

80%

73%

自社 VS D社

自社 VS E社

自社 VS B社

自社 VS C社

他社比較検討の結果

自社にとって勝ち

C社は強敵

自社CV割合競合CV割合


ビッグデータを活用した弊社事例③


自然言語処理エンジン

顧客情報

テキストデータ＋＝既存事業に付加価値

◆文脈を理解する“独自のセマンティック自然言語処理エンジン


ビッグデータを活用した弊社事例③


①コア部分：指定したKWに対する好意的or批判的というスタンスを記述した文

②文脈部分：コア部分に対する理由/意図を記述した文

例えば、下記のようなブログのクリッピングがあった場合、、、

アサヒビール。日曜日は青年会のイベントでアサヒビールに工場見学&クオリティセミナーに行ってきました。工場内は撮影禁止なんで写真は無し。見学が終わってセミナーへ。こっそり撮影。サーバーの使い方と洗浄方法を教えてくれます。ちと眠かったがセミナー終了。美味しいビールも飲めたし勉強になりました。そしてお疲れ様会。アサヒビール持ちの会です(一般の人はありません)。さすが青年会。先ずは会長の挨拶後は飲んで喰ってご馳走様でした。お土産ももらって大。【216文字】

美味しいビールも飲めたし勉強になりました。

日曜日はイベントでアサヒビールに工場見学&クオリティセミナーに行ってきました。

コア部分の抽出

文脈部分の抽出

要約文

として抽出

日曜日はイベントでアサヒビールに工場見学&クオリティセミナーに行ってきました。美味しいビールも飲めたし勉強になりました。

【60文字】

216字→60字（28％）となり、一目で「工場見学&セミナー」で「美味しいビール」を飲んだことが分かります。実際にこの例文のように明確に好き／嫌いを表現していない記事が多く、それでもコア部分と文脈部分さえ読めば記事の要旨は把握できます。

• 従来のテキストマイニングでは実現できなかった文脈を解析

• 重要な部分を抽出し、抄録文としてサマリすることが可能

重要語として「アサヒビール（検索ワード）」「ビール（属性）」「美味しい（評価表現）」を指定。



ビッグデータを活用した弊社事例④


予測に利用するデータ

休日・平日店舗カテゴリゲストカウント客単価

28の予測モデル

により予測モデルを作成 ※“R”はオープンソースの分析ツール





• MAPE（絶対誤差平均）： 3.6%

• 予測月の前月最終週に1ヵ月分を日別で予測した予測値・実績値・予実乖離

• 某大手外食チェーンにて実施

※売上数字はダミー

0.0%

2.0%

4.0%

6.0%

8.0%

10.0%

12.0%

14.0%

16.0%

18.0%

20.0%

0

500

1,000

1,500

2,000

2,500

6/1 6/3 6/5 6/7 6/9 6/11 6/13 6/15 6/17 6/19 6/21 6/23 6/25 6/27 6/29

Error Actual FCST絶対誤差4%以内日数

(割合)

18日 (60%)

絶対誤差10%以内日数 (割合)

30日 (100%)

3,500

3,000

2,500

2,000

1,500

0





Output Output

顧客数

Input

カレンダー変数（○○個）

ディスカウント（商品毎×割引率）

プロモーション変数（△△個）

トータル売上額

平均単価

販売個数（商品毎）

Quantity（平均）（313商品ごと）

カニバリを考慮した販売個数

商品毎売上額

貴社向け最適化モデル

販売個数の変化率（商品毎）

プロモーション1

ON


OFF


ON

• Salesに影響を与える要素を細分化し、アイテム単位で全ての組み合せを分析した上で、最も効果的な商品やプロモーションの組み合わせを算出





9,000

10,000

11,000

12,000

13,000

14,000

15,000

16,000

1 2

Increamental(18.5%)

Cannibali(6.7%)

Add-on(1.3%)

-700

-600

-500

-400

-300

-200

-100

0

100

200

300

Qlb_SET(16%)

EFO_SET(12%)

DCB_SET(11%)

BM_SET(7%)

TMB_SET(7%)

OTHER(46%)

OTHER(8%)Coffee_ALC(12%)

FRY_ALC(15%)JC Select_ALC(20%)

NGT_ALC(21%)

Drink_ALC(24%)

(0.83%)

(0.59%)

(0.55%)

(0.37%)

(0.36%)

(2.34%)

(0.11%)(0.16%)(0.19%)(0.26%)(0.27%)

(0.30%)

mill¥ mill¥

Estimate Sales

w/o Product A Total Incremental Cannibali Add-on

• 複数のプロモーションを実施した場合に想定されるカニバリゼーションによる売上減少額とついで買いによる売上増加額の関係性を構造化



ビッグデータを活用した弊社事例⑤


★テストマーケティングエリア★

家庭向け高速通信サービス展開ブロックの選定

新規サービスの全国展開に向けて、会員獲得に有効な住所ブロックの抽出優先順位づけを、より高い精度でおこないたい。

また、予測の結果検証を通じてデータマイニングの有効性を確認したい。

契約者数データ国勢調査データ

約400項目

従来手法を比較して最大50%以上の予測精度アップ

分析結果に基づき施策実行

目的と背景使用データ改善効果

収益性の高い（多くの加入者獲得が期待できる）エリアを国勢調査データを用いて判別するための予測モデルを作成

有望エリア選定の概要

X県 A地区

X県 B地区

X県 C地区

・持家世帯が15% ・人口密度が6000 ・核家族比率が75% 5世帯に1世帯が加入

5世帯に2世帯が加入

加入申し込みなし

エリア特徴（国勢調査データ）

Z県い地区

Z県ろ地区

5世帯に1世帯が加入

加入は見込めない

・持家世帯が20% ・人口密度が3000 ・核家族比率が50%

・・・

テストマーケティング結果

Z県い地区は有望エリア（優先順位高）

Z県ろ地区は見込み薄（優先順位低）

架電リストの作成有望エリアの選定

有望エリアの特徴抽出

有望エリア判別モデルの作成

有望エリアに居住している既存サービスの利用者に乗換促進をおすすめ。

① 一戸建持ち家世帯数が多いほど ② 人口密度が低いほど ③ 核家族で構成されたブロックほど･･･ etc. 予測結果を検証した結果

従来手法と比較し、判別の精度が

25Point（58%）向上

【予測】

【予測】

★未知エリア★

・持家世帯が20% ・人口密度が3000 ・核家族比率が50%

エリア特徴が共通だから、新規サービスへの加入が見込める割合も同じでは？

・・・



ビッグデータを活用した弊社事例⑤


6： ADSLユーザが70%集中する局舎距離が3kmを越えるブロック



アジェンダ











管理・点検データ

政府統計・GISデータ日報や

点検記録

センサーデータ等

GPS・ソーシャル

(データ単体)

気象データ等予報値

GPS・ソーシャル

(データ単体)


・建造物の点検データ(故障・修理箇所の状態記録データ) ⇒発生箇所(種類別)に、点検情報の中から、因果関係がありそうな事象を発見するアウトプット：発生確率、発生前に起こる事象の特定効果：故障確率の算出、故障個所以外の点検箇所の特定・建造物の点検データ(故障・修理箇所の有無)＋政府統計データ ⇒発生確率・頻度や特徴を明らかにするアウトプット：エリアの特定、発生確率、発生件数等の予測効果：改善計画の策定、点検頻度の改善など・建造物の点検データ(故障・修理箇所の状態記録データ) ＋GPS ⇒トラフィック量(累積値)との因果関係を明らかにする。消耗度の測定等アウトプット：経年変化状況の解析、改善タイミングの発見など効果：資材計画の見直し、故障前段階での設備点検・部品交換など







・センサーデータ ⇒連続して生成されるログデータから、故障やイベントの発生要因を特定する (トラフィック量が問題なのか、他箇所の故障よるものかといった要因を特定) アウトプット：誤検知の判定、点検箇所の事前特定など効果：過去事象のシェア、故障前段階での設備点検・部品交換など・センサーデータ＋気象予報などの予測データ ⇒天候・気温情報から将来(1週間程度)のエネルギー需要を予測アウトプット：電力消費量(時間単位) 効果：電力共有量のコントロールによるコスト削減など・センサーデータ＋ソーシャル ⇒計測量や移動パターンの解析、位置情報と合わせて話題となっているキーワードを検出し、施設などにおける利用者の不満などのリアルな情報を抽出アウトプット：電力消費量(時間単位) 効果：利用者の声に合わせた設備改善・巡回計画の最適化など



まとめ


インフラ領域においてもマーケティング領域で使用されているデータ分析手法は活用可能性は高いデータ分析の目的が明確であれば、既存のデータ分析手法の組み合わせによりある程度の解析精度を担保することは可能良質な結果を得るためには、良質なデータが必要 (不連続なデータ、データの欠損、データの絶対量の不足は精度を落とす要因) ビッグデータと組み合わせる場合、点検・管理データの計測単位が重要 (年、月、日、時間、分、秒、都道県単位、市町村、住所コード、緯度経度) リソースの最適配分まで行うのであれば、データマイニングだけでは不十分、最適化組合せ計算が必要まずは保有しているデータで何ができるか、何が不足しているかといったことを明確し、これからどのようにデータ活用していくかの早期に検討することが重要



Big data, Big innovation®

次のイノベーションは、ビッグデータから

brainpad inc. company profileadvanced-infra.sakura.ne.jp/sblo_files/advanced... ·...

Documents