mobileclick-2 キックオフイベント
TRANSCRIPT
NTCIR-12 MobileClick-2モバイル情報検索タスク
加藤 誠(京都大学)Virgil Pavlu (Northeastern University)
酒井 哲也(早稲田大学)山本 岳洋(京都大学)
"NTCIR"
7
NTCIR とは ?Home | NTCIRThe NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-12
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan
NTCIR-12 News
NTCIR-12 Schedule
NTCIR-12 Tasks
あなたの検索スコア
クリック数 : 0検索時間 : 00:03
"NTCIR"
8
NTCIR の締切はいつ ? Home | NTCIR
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-12
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan
NTCIR-12 News
NTCIR-12 Schedule
NTCIR-12 Tasks
NTCIR-12 Schedule
20/Jan./2016: Task
Registration Due
06/Jan./2016: Document
Set Release
Jan.-May/2016: Dry Run
Mar.-July/2016: Formal Run
01/Aug./2016: Evaluation Results
Due
01/Aug./2016: Task overview release
15/Sep./2016: Paper submission Due
01/Nov./2016: All paper Due
09-12/Dec./2016: NTCIR-11 Conference
あなたの検索スコア
クリック数 : 1検索時間 : 00:15
"NTCIR"
9
When is the deadline
of NTCIR? Home | NTCIRhttp://research.nii.ac.jp/ntcir/
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-11 http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks http://research.nii.ac.jp/ntcir/tasks
NTCIR-11 Schedulehttp://research.nii.ac.jp/ntcir/schedule
20/Jan./2014: Task Registration Due
06/Jan./2014: Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014: Formal Run
01/Aug./2014: Evaluation Results Due
01/Aug./2014: Early draft Task overview
release
15/Sep./2014: Draft paper submission Due
01/Nov./2014: All camera-ready paper Due
09-12/Dec./2014: NTCIR-11 Conference
Your Search Score
Clicks: 1Time: 00:15
MobileClick の目標モバイルユーザが
必要な情報へ直接・即時にアクセスできるようにするこ
と
"NTCIR"
10
When is the deadline
of NTCIR? Home | NTCIRhttp://research.nii.ac.jp/ntcir/
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-11 http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks http://research.nii.ac.jp/ntcir/tasks
NTCIR-11 Schedulehttp://research.nii.ac.jp/ntcir/schedule
20/Jan./2014: Task Registration Due
06/Jan./2014: Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014: Formal Run
01/Aug./2014: Evaluation Results Due
01/Aug./2014: Early draft Task overview
release
15/Sep./2014: Draft paper submission Due
01/Nov./2014: All camera-ready paper Due
09-12/Dec./2014: NTCIR-11 Conference
Your Search Score
Clicks: 1Time: 00:15
MobileClick-1 との違い
• 日英で 2 種類のサブタスク• iUnits を提供(抽出不要)
• 速やかなフィードバック• リーダーボード• クエリ頻度の提供(予定)
• クエリと iUnit 集合が与えられたときiUnit を推定された重要度順にランキング注 : iUnit はクエリ対して適合する情報の断片
iUnit Ranking サブタスク
11
iUnit
評価ワークショップ
情報アクセス技術研究の促進が目的
2016 年 6 月 20 日が参加登録締切
NTCIR
Input: Query
Input: iUnit setiUnit
1 評価ワークショップ
2 2016 年 6 月 20 日が参加登録締切
3 情報アクセス技術研究の促進が目的
……
Output: iUnit list
nDCG
0.5
文書ではなく文字列の重要度を推定研究課題
• クエリ, iUnit 集合,サブトピックが与えられたとき2 層の要約を生成
iUnit Summarization サブタスク
12
iUnit
評価ワークショップ
情報アクセス技術研究の促進が目的
…
NTCIR
Input: Query
Input: iUnit set
Subtopics
ニュース
スケジュール
…
Input: Subtopics
M-measure
0.5
NTCIR は情報検索・要約・抽出,質問応答などの情報アクセス技術研究を促進するためにデザインされた評価ワークショップです.
ニューススケジュールタスク
2nd layer20/Jan./2016: Task Registration Due
06/Jan./2016: Document Set Release
Jan.-May/2016: Dry Run
Mar.-July/2016: Formal Run
01/Aug./2016: Evaluation Results Due
01/Aug./2016: Task overview release
15/Sep./2016: Paper submission Due
01/Nov./2016: All paper Due
09-12/Dec./2016: NTCIR-11 Conference
Output: Two-layered summaryモバイル情報アクセ
スのために設計され
た
評価指標
どのユーザも即材に満足できるようにiUnit を配置( IMine タスクに類似)
研究課題
Q. いつ評価結果が見られますか?A. システム出力を投稿したらすぐ見られます
リーダーボードシステム
13
結果が出た すごい結果だ!
投稿
フィードバック
• 2015 年 4 月より訓練クエリ用評価システム公開• 2015 年 8 月よりテストクエリ用評価システム公
開
リーダーボード
• 以下のトピックに興味がある方– モバイル情報アクセス– 意図推定– 多様化– 要約– 質問応答– ナゲットベース評価
• 以下のタスクの参加者の皆様– 1CLICK タスク– INTENT , IMine タスク– RITE タスク
以下に当てはまる方はぜひ参加を検討ください
14
月 イベント
2015 年 4月
CFP 第 1 段訓練クエリ用評価システム公開
2015 年 6月 参加登録締切
2015 年 8月
テストクエリ公開テストクエリ用評価システム公開
2015 年12 月 システム結果投稿締切
2016 年 3月 参加者論文投稿締切
2016 年 6月 NTCIR-12 Conference
MobileClick-2 スケジュール
15
"NTCIR"
16
When is the deadline
of NTCIR? Home | NTCIRhttp://research.nii.ac.jp/ntcir/
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-11 http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks http://research.nii.ac.jp/ntcir/tasks
NTCIR-11 Schedulehttp://research.nii.ac.jp/ntcir/schedule
20/Jan./2014: Task Registration Due
06/Jan./2014: Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014: Formal Run
01/Aug./2014: Evaluation Results Due
01/Aug./2014: Early draft Task overview
release
15/Sep./2014: Draft paper submission Due
01/Nov./2014: All camera-ready paper Due
09-12/Dec./2014: NTCIR-11 Conference
Your Search Score
Clicks: 1Time: 00:15
MobileClick-2無駄のない高速な
モバイル情報アクセスを実現
2015 年 4 月http://www.mobileclick.org/
で訓練用評価システム公開予定
2015 年 8 月 - 2015 年 12 月リアルタイム評価実施