webdb forum 2013

リクルートにおけるデータ分析と可視化の事例

株式会社リクルートテクノロジーズビッグデータグループ

西郷彰

WebDBフォーラム 2013特別セッションⅠ　～ビッグデータ分析と可視化

Copyright Recruit Technologies Co.,Ltd. Confidential, Internal Use Only.

本日のアジェンダ

１．はじめに～リクルートのご紹介（少しだけ）

２．ビッグデータ活用の背景～時流を眺めると

３．ビッグデータ分析基盤について（少しだけ）

４．ビッグデータ活用事例５．データ分析者の業務について

（質疑応答）

西郷彰

株式会社リクルートテクノロジーズIT ソリューション部　ビッグデータグループ

シニアデータサイエンティスト


自己紹介

氏名西郷　彰

所属 RTC IT ソリューション部ビッグデータグループ G

略歴 2009 年リクルート中途入社（※データ分析業務 10 年）。じゃらん、ポンパレなどの CRM やレコメンドのプロジェクトを推進。現在 BDG 案件推進Ｕの統括業務。

学歴大阪大学工学部筑波大学大学院ビジネス科学研究科（ MBA)

趣味 etc データ分析コンペティション- レコメンデーションアルゴリズム- ベイジアンアプローチ

スノーボード（インストラクター資格有）- 子育てが忙しくめっきり行けなくなりました

Facebookhttp://www.facebook.com/akira.saigo

Copyright Recruit Technologies Co.,Ltd. Confidential, Internal Use Only. 4

手前味噌ですが、いくつかのメディアに取り上げてもらってます。（ ^^ ）

IT Leaders

日経情報ストラテジー

日経産業新聞

日本経済新聞

自己紹介　おまけ


１．はじめに～リクルートのご紹介

ちょっとだけ


【リクルートって「何屋」？】

【Wikipedia より】　広告を主体にした、出版およびインターネットに

　おける情報サービス、人材紹介、教育など　多方面に事業を手掛ける企業

いろいろやっていますが一言で表現するなら「情報サービス」事業を手がける企業、です

6

リクルートグループのご紹介


　　リクルートキャリア

　　リクルートジョブズ

　　リクルートスタッフィング

　　リクルート住まいカンパニー

　　リクルートライフスタイル

　　リクルートマーケティングパートナーズ

　　スタッフサービス・ホールディングス

　リクルートアドミニストレーション

　

　リクルートコミュニケーションズ

事業会社

機能会社インフラ部門

大規模プロジェクト推進部門

UI 設計 /SEO 部門

ビッグデータ機能部門

テクノロジー R&D 部門

事業・社内 IT 推進部門

リクルートホールディングス

リクルートとは、主要７事業会社＋３機能会社で構成されるグループ企業群

私が所属する会社はリクルートテクノロジーズ

7

リクルートグループのご紹介


２．ビッグデータ活用の背景～時流を眺めると

この章は割愛


３．基盤について


Web サイトセッション

UU 　クライアント　

アイテム

pageview

会員

大きいだけでなく多種で複雑なデータ

営業情報

エリア店舗情報

ビッグデータの分析基盤について


　　　　　　　　　

Google が開発した技術をオープンソース化したもの大量データ処理が非常に高速という特徴を持つ。米 Yahoo! や Facebook等大規模ネット企業を中心に積極的に採用が進み、国内でも楽天さん・ DeNA さんなど Net 業界や、通信キャリアなどを中心に、近年は各種業界で利用が広がっている

【主な特徴】

大量データ大量データ

Hadoop システム

Hadoop システム

分散処理

大量データ処理高速分散並列処理処理能力の増強が容易

Hadoop を早くから導入しています


リサーチ段階

3 ～ 4台

2008 ～ 9

実験機

Web サイトのﾊﾞｯﾁ処理移植など、処理性能の評価・研究

実験・検証

20台

ラボ環境

2010

システム移行などで余ったハードウェアを再利用

第 1世代環境

120台

プライベートクラウド

2011

商用利用が可能な設計（セキュリティなど非機能面）を施した環境

システム構成概要

第 2世代環境

40台（今後拡大）

プライベートクラウド環境との融合を進めた環境

プライベートクラウド

2012

2013 年ではさらに統合的なデータ分析基盤を整備しています！

部分的な環境融合

完全なる環境融合

ビッグデータの分析基盤について


４．ビッグデータ活用事例


ビックデータ活用について

事業Ａ

事業Ｂ

事業Ｃ

事業Ｄ

事業Ｅ

事業Ｆ

事業Ｇ

事業Ｈ

事業Ｉ

事業Ｊ

事業Ｋ

事業Ｌ

事業Ｍ

サイト間クロス UU調査

サイト横断モニタリング

指標

施策シェア分析

レコメンド

予約分析

ＢＩメルマガ施策

リスティング分析

KWD×LP 分析

クチコミ分析

ステータス分析

LPO

メール通数分析

自然語解析

現行応募相関

行動ﾀｰｹﾞﾃｨﾝｸﾞ

KPIモニタリング

レコメンドログ分析

自然語解析メールコメンドﾚ需要予測クレンジング

需要予測

ｸﾗｲｱﾝﾄ HP 分析

領域間クロス UU

ｶｽﾀﾏｰﾌﾟﾛﾌｧｲﾙ

集客モニタリング

商材分析

レコメンド

ｶｽﾀﾏｰﾄﾗｯｷﾝｸﾞ

共通バナー

KPIモニタリングアクション数予測効果集計

価格分析コメンドﾚクラスタリングクチコミ分析

レコメンド

レコメンド

効果見立て分析

13 事業に対し、

年間 176 件のデータ利活用を推進


可視化分析


データ活用事例：可視化の例

SUUMO で所有している大量データをつかって、クライアントへの分析商品展開、営業側で利用するための提案ツール作成を実施。

– クライアントが物件オーナーとの接点を強化し、各種提案をスムーズに行っていただくための物件レポート作成サービス


「 cameran 」 × SNS解析事例

人気写真家蜷川実花さんの世界観を手軽に表現できる無料のカメラアプリ。

日本 /台湾 /香港の App Store で

総合１位

アプリのダウンロード数と SNS の盛り上がりにどのような相関があるのか、分析を行った



「 cameran 」 × SNS解析事例

SNS 上での盛り上がりを視覚的に表現するためにTwitter データを取り込み、映像化した

アクティブユーザ数および DL数の推移

画面に表示されているユーザ数および Tweet数

当日もっとも RT されたTweet の top10



予測分析


外部集客事例

広告枠リスティング広告

SEO


その他の集客施策

バナー広告ソーシャル広告

FacebookAd


どうやって広告を最適化したらいいか？


モデリングをどう活用するの？？

• 過去の集客データ（コスト・流入・成約など）から統計モデルを構築し、将来の集客予測を行います

• 集客のモデルをもとに、効率的な集客ポートフォリオを算出し、コスト削減 / 一定コストでのアクション最大化の広告配分を算出します

図表例は割愛


パーソナライズ・レコメンド


パーソナライズ・レコメンド

潜在層検討層成約層

アクション効率化

アクション

入口

出口

リスティング

SEO

バナー

アライアンス

ソーシャル

メールレコメンド

有料外部集客（リスティングなど）の効率化

UI 、コンテンツ、導線の改善

パーソナライズ、レコメンドを活用


「みんなの求人板」 × リアルタイム事例

初来訪時は…

　　　「ご近所」の最新掲載求人を掲載する　　←アクセス元の IP アドレスから市区町村を判定し、紐付いた　　　エリアをレコメンド

実装内容



ひとつでも閲覧すると…

　　　「あなたにオススメの求人」　　←閲覧履歴にもとづきレコメンド内容をリアルタイムに変化させて　　　表示する

実装内容



裏側では…

スコア表作成

協調フィルタリング

flush

バルクロード

リアルタイム行動履歴

スコア表

WEB サーバー

スコア表更新

おすすめ求人

n

j

ipipH1

)(log)(

グラフ理論を応用しつつ全体最適化

協調フィルタリングとグラフ理論をベースにし、カスタマーの潜在的な嗜好をリアルタイムに反映する「独自アルゴリズム」を実現

実装内容


５．データ分析者の業務について～求められる能力、体制


Ｆａｃｅｂｏｏｋのデータサイエンティスト募集要項

データ分析者について

5 年前はＢＩＧＤＡＴＡについて、誰も議論してなかった。

5 年後は当り前になってるかもしれない。

定量的アプローチを用いて分析的な課題を解決した豊富な経験多様なソースからの複雑で、大量かつ高次元のデータを容易に操作し、分析できることPython,PHP など、少なくとも 1 つのスクリプト言語を自由に扱えることRDB と SQL に精通していることR,MATLLAB,SAS のような分析ツールについて専門知識を有すること大量のデータセットを扱った経験、 MapReduce,Hadoop,Hive などの分散コンピューティングツールを使用した経験

城田真琴　“ビッグデータの衝撃” 2012,東洋経済新報社より抜粋

コミュニケーション能力：データ分析の知識に乏しいビジネス部門側のスタッフや経営層にも、結果を効果的に伝えらえる。アントレプレナーシップ：データ中心の新しいサービスを生み出そうとする起業家精神も。好奇心：芸術、技術、医療、自然科学などの特定の分野にとらわれずあらゆる分野に好奇心が旺盛。

データサイエンティストに必要な資質


分析スキル

ＰＪ管理能力

マーケティング＆ビジネススキルテクノロジースキル

データ分析者についてデータサイエンティストに求められるものは何か一つの能力の高さではなく「面積の大きさ」なのでは？

エンジニア & アナリスト分析スキルだけでなくテクノロジースキルも必要また、施策接続や結果の活用（意志決定支援）のため、

マーケティングや事業のビジネスに対する理解・コンサルティング、 PJ管理能力も必要


ビッグデータに対峙する２種類のアナリスト

【役割】事業の抱える課題解決に向けた仮説を立て、大量データをマイニングし具体的な解決案を提案する。現場に近いところで超具体的な方針を示す

【スキル・知識】分析力、論理的思考力、仮説力、統計 / マーケティング知識、 SQL 、 R など

【役割】データマイニングや機械学習を行った結果をもとに、ユーザーの行動特性など一定の規則性を見出し、提供サービスの品質向上に努める

【スキル・知識】Hadoop 、 MapReduce 、 Mahout 、 Java 、 R 、統計解析、時系列解析、データマイニング、機械学習、自然言語処理など


出展：http://engineer.typemag.jp/knowhow/2012/02/-13-2.php

http://engineer.typemag.jp/knowhow/2012/02/-13-2.php

http://engineer.typemag.jp/knowhow/2012/02/-13-2.php


（「コンサル型」＋「エンジニア型」） × マーケター

コンサル型エンジニア型

協働

事業担当者≒マーケター

「コンサル型」＋「エンジニア型」の異なるアナリストと

マーケターの三位一体で、最適なデータ活用を実現

R-techの守備範囲



リクルートグループではビッグデータ活用により、テクノロジーとデジタルマーケティングの最先端を走る企業を目指してます！

ご清聴ありがとうございました。


質疑応答後日の連絡はこちらまで↓http://recruit-tech.co.jp/

本日 11:40～ 12:50弊社主催の昼食会があります！

（＠国際交流ホールⅢ）ぜひお気軽にお越し下さい！

お弁当も出ますよ♪

http://recruit-tech.co.jp/

webdb forum 2013

Technology