ウェブサイト最適化のためのバリエーション自動生成システム

東京大学工学系研究科技術経営戦略学専攻松尾研究室

ウェブサイト最適化のためのバリエーション自動生成システムVariation Generation System for Automated Website Optimization

東京大学工学系研究科技術経営戦略学専攻

飯塚修平・松尾豊


研究の背景：ウェブサイト最適化のインパクト

● ウェブサイト最適化：異なるバリエーションをユーザに表示して比較することで、

コンバージョン率を向上する手法（e.g. 商品の購入、ユーザ登録 etc.）

● 写真やテキストなど小さな要素が、コンバージョン率に大きな影響を与えることが知られている。

JOIN UP NOWSIGN UP NOW

LEARN MORESIGN UP

How Obama Raised $60 Million by Running a Simple Experiment https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/ より引用

+19%

+1%-2%

2008 年アメリカ大統領選挙におけるオバマ氏公式サイトでのウェブサイト最適化の例Call-To-Action (CTA) ボタンを変えることによるユーザ登録率の変化

https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/




研究の目的

● 問題意識：ウェブサイト最適化のためのバリエーションを自動で生成することはできないか？

○ 膨大な数のバリエーションから探索が可能になる。

○ ウェブページ一つ一つに対するウェブサイト最適化が可能になる。

● 本研究では、特に Call-To-Action (CTA) ボタンの自動生成に着目する。


ウェブサイト最適化の関連研究

● 事前データを用いて KPI の sensitivity を推定、探索が高速

な KPI を特定する [Deng 13]

● KPI の観測が遅延する問題に

着目した、代替 KPI による最適

化手法の提案 [飯塚 15]

● バンディットアルゴリズムによる

探索 [White 12]

● 組み合わせ構造を活かした、小

規模ウェブサイト向けの最適化

手法 [Iitsuka 15]

● パラメータをグループ化すること

による探索の効率化 [Tang 10]

バリエーションの生成については十分に研究が進められてい

ない。

① 探索 argmax ② 目的関数 (KPI) y ③ 解空間 x ∈ X

バリエーション

フィードバック

ユーザウェブサイト


自然言語生成の関連研究

テンプレートベースアプローチ

● 画像から構造 <object, action, scene> を抽

出、テンプレートに流し込む文章生成 [Farhasid 10]

● オブジェクトの関係を表すネットワーク構造

からの文章生成 [Kulkarni 13]

候補文アプローチ

● 対話システムの研究でよく用いられる。

● 対話システムの返答に意味を持たせる試み [柴田 03]

Deep Learning アプローチ

● LSTM を用いた文章生成 [Wen 15]● LSTM を用いた画像からの文章生成 [Vinyals 15]

★ CTA のような、短い文章生成に向いていると判断。


提案手法の概観

● 事例ウェブサイトから、CTA 候補を

生成する。

● ウェブサイトを、CTA でラベル付けさ

れた単語集合として表す。

● 特徴空間におけるコサイン距離を用

いた 1-nearst neighbor によって

CTA 候補を推定する。


分析手法

● データセット

○ WACUL 株式会社が提供するウェブサイト分析ツール「 AI アナリスト」に登録された約 1,000 ウェブサイト。

○ そのうち 132 ウェブサイトから 376 種類の CTA ボタンを抽出することができた。

● コンテキストベクトルの生成

○ Mecab をウェブページに含まれるテキストに適用し、 Bag-of-Words にする。

○ 自立語以外はストップワードとして省く。

● 次元圧縮

○ 特異値分解 (SVD) を利用 (特徴数 k = 30)


AI アナリストについて

● 国内数千のウェブサイトをクライアント

を持つウェブサイト分析ツール

● Google Analytics によって取得される

データを分析。

● ウェブサイト改善提案や異常検知を

提供する。

https://wacul-ai.com/

https://wacul-ai.com/function/

https://wacul-ai.com/function/


CTA の抽出

● 一般的に、あるウェブページから CTA を抽出することは容易ではない。

● AI アナリストに登録されたウェブサイトは、 Google Analytics 上でゴールを設定している

→リファラを辿ることで、CTA を推定することが可能。

GOALform.php confirm.php

thanks.php

要 Cookie

CTA

リファラを用いた推定


分析結果

ウェブサイトＡ：ウェブ広告プラットフォーム

CTA 候補コサイン距離

お問い合わせ 0.083

サインアップ 0.090

サービスに関するお問い合わせ

0.096

無料会員登録はこちら

0.099

無料登録はこちら 0.100https://www.google.co.jp/adsense/

https://www.google.co.jp/adsense/

https://www.google.co.jp/adsense/


分析結果

ウェブサイトＢ：家事代行サービス


会員登録（無料） 0.103

ログイン 0.110


無料おためし体験 0.116

資料請求 0.125

http://www.maestroservice.co.jp/




分析結果

ウェブサイトＣ：ペット用品ＥＣ


カート 0.092


新規登録・ログイン 0.118

ログイン 0.126

オーダーフォーム 0.127

http://www.aeonpet.com/ec/




評価実験

目的：提案手法によって、ウェブサイトにとって有用

な CTA を生成できることを評価する。

対象サイト：東京大学グローバル消費インテリジェン

ス寄付講座ウェブサイト

評価方法：比較手法（事例からの無作為選択）と提

案手法によって対象サイトの CTA 候補を生成して

スクリーンショットを撮影する。その後、 300 人の被

験者に２択アンケートを実施する。

東京大学グローバル消費インテリジェンス寄付講座 http://gci.t.u-tokyo.ac.jp

CTA

http://gci.t.u-tokyo.ac.jp


アンケート項目

クラウドソーシングサービス「ランサーズ」を用いた

アンケート調査を実施。

# ボタンとして自然か？

質問１：ボタンをクリックした後に、どのような情報が表示されるか予

想できますか？

# ウェブサイトにマッチしているか？

質問２：ボタンに書かれていることは、このウェブサイトに対して自然

だと思いますか？

# 押したくなるような魅力があるか？

質問３：もしあなたがこのウェブサイトの利用者だとしたら、ボタンを

クリックしてみたいと思いますか？

アンケートのスクリーンショット


実験結果

● 提案手法を用いることで、比較手法に比べて肯定意見の割合を増やすことができた。

● 提案手法は、上位により高得点の CTA を提案することができた。

比較手法

提案手法


考察

● 事例となるウェブページからバリエーションを生成できる可能性が示唆された。

● スケーラビリティ：今後コーパスとなるウェブページを増やすためには、 GA データ無しで CTA を推定

することが求められる。

● 実用化にむけて

○ A/B テストの中でワークすること（＝コンバージョン率を向上できること）の検証

○ 意味合いまで考慮した CTA の生成

● 適用可能性

○ 画像を中心に構成されるサイトでも利用できるか？明確な目的がないサイトではどうか？

● 応用可能性

○ レイアウトや画像などの、その他の見た目要素

○ 機能の生成（コメント機能、投票機能 etc.）

○ 深層生成モデル、特に Variational Autoencoder の応用に注目しています。


まとめ

● ウェブサイト最適化における、バリエーションの生成の問題に着目した。

● ウェブページを CTA ボタンによってラベル付けされた単語集合として表し、特徴空間におけるコサイ

ン類似度によって CTA ボタン候補を生成するシンプルな手法である。

● 分析の結果、ウェブサイトのカテゴリに応じた候補生成ができる可能性が示唆された。

また、アンケートによる評価実験の結果、ウェブサイトに応じた候補生成ができることがわかった。

● 今後、同様の手法を用いることで CTA 以外のウェブページ要素の候補生成も可能になると考えられ

る。

ウェブサイト最適化のためのバリエーション自動生成システム

Technology