荒瀬由紀 大阪大学大学院情報科学研究科 - erato ......2018/02/26  · webデータ...

16
荒瀬由紀 大阪大学大学院情報科学研究科 Relying on team spirit, expedition members defeated difficulties. <-> Members of the scientific team overcame challenges through teamwork. パラフレーズ(言い換え表現) 自動QAや対話システムで重要な言語資源 文単位のパラフレーズでは応用しにくい、 チャンクではマッチングが難しい。

Upload: others

Post on 10-Sep-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

荒瀬由紀大阪大学大学院情報科学研究科

Relying on team spirit, expedition members defeated difficulties. <-> Members of the scientific team overcame challenges through teamwork.

パラフレーズ(言い換え表現)

自動QAや対話システムで重要な言語資源文単位のパラフレーズでは応用しにくい、チャンクではマッチングが難しい。

Page 2: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

構文木(森)をアラインメントすることで、フレーズを単位とする文法的なパラフレーズ

を効率的に獲得するモデルを提案

Members of the scientific team overcame challenges through teamwork

Relying on team spirit expedition members defeated difficulties

VP NP VP

NPVP PP

S

S

VP

S

Relying on team spirit <-> through team work

expedition members <-> members of the scientific team

defeated difficulties <-> overcame challenges…

Page 3: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

非線形非負行列分解を用いたディープニューラルネットワーク計算手法の開発

今倉 暁(筑波大学 システム情報系・人工知能科学センター)

2017/12/25-26 1WINTER FESTA Episode3@情報系 一橋講堂

☆背景・研究目的 背景:DNN計算が画像認識等の分野で成果をあげている

研究目的:バックプロパゲーション(BP)法と異なるアプローチの解法として、非線形非負行列分解(非線形NMF)を用いた逐次最適化法を提案する

Page 4: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

研究内容☆提案:非線形NMFを用いた逐次最適化法

☆数値実験:画像認識(MNIST)

2017/12/25-26 2WINTER FESTA Episode3@情報系 一橋講堂

非線形NMF

各最適化は制約・正則化項付き非線形NMF

制約・正則化項付き非線形NMF

バイアス・正則化項により過学習が抑制古典的なBP法と同程度の性能

Page 5: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

私の研究対象

小林 亮太 (国立情報学研究所)

Page 6: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

イベント時系列: あるイベントの起きた時刻のデータ

時刻

発生

t1 t2 t3

Webデータ (Twitter, Youtubeなど)

イベント

コンテンツへのアクセス コンテンツの投稿 (動画の視聴、投稿)

データ

データ

観測期間

t1t2 t3

予測期間

N(t)=2

予測結果 問題

イベント時系列データ解析に基づくWebデータマイニング 国立情報学研究所 小林 亮太

予測

論文 Kobayashi & Lambiotte, ICWSM 2016 Proskurnia et al., WWW 2017

Page 7: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

!

!

A E D E C C AA D

C

D B E E A D CA A E D E

A D A CA B B C A A D B E

A D E A C E DA A E E D E D C D E

A E D EA D D B C DA

A

AA

A

A

A

A

A

A

A

A

A

A

A

A

A

AA

AA

A

A

B BB

BB

B

B

BB

B BB

B

B

BB

B

B B

B

B

B B

BB

B

B

BB

B

CC

CC

C C C

C

C

C

C

C

C

C

C

C

C

C

C C

CCC

C

CC

D

D

D

D

D

D

DD

DD

D

D

D

D

D

D DD

D

D

D

E E

EE

EE

E

E

E

E

E

E

EE

EE

E

EE

Question

Worker{Experts

Question

Question

A

DA

B

C

C

C

D

D

MV

D

A

BA

B

B

C

C

D

GLAD

Question

D

A

AA

B

A

A

C

D

DARE

1234

Page 8: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

!

1234

(1, 2, 3)

(1, 2, 4)

(1, 3, 4)

(2, 3, 4)

Page 9: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

無向グラフ ෨𝐺 = 𝑉, ෨𝐸 , 適合確率 𝑝 ∈ 0, 1入力

適合枝のみからなるマッチング𝑀 ⊆ 𝐸出力

クエリ(検査)

෨𝐺 = 𝑉, ෨𝐸 𝐺 = 𝑉, 𝐸

Stochastic Packing Integer Programs with Few Queries前原 貴憲 (理研AIP) 山口 勇太郎 (大阪大学, 理研AIP, ACT-I, 河原林ERATO, 岩田CREST)

Stochastic Matching Problem (with Few Queries)[Blum, Dickerson, Haghtalab, Procaccia, Sandholm, Sharma 2015]

• ペア臓器交換のモデル化の一種

• 検査コストが高い → クエリ回数を減らしたい

Page 10: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

𝐴 ∈ 𝐙+𝑛×𝑚, 𝑏 ∈ 𝐙+

𝑛;

ǁ𝑐 ∈ 𝐙+𝑚:確率的目的関数ベクトル

Q.クエリ回数と解の品質のトレードオフは?

• 全ての成分にクエリする → 普通の整数計画問題

• 少ないクエリ回数で,それと遜色ない解を得たい

• 各 ǁ𝑐𝑗 は独立な確率変数で,クエリにより実現値を得られる

• 各 ǁ𝑐𝑗 の実現値は 𝑐𝑗− ≤ ǁ𝑐𝑗 ≤ 𝑐𝑗

+ を満たす(𝑐𝑗± は入力の一部)

• ǁ𝑐𝑗 = 𝑐𝑗+ となる確率は 𝑝以上(𝑝 ∈ 0, 1 は入力の一部)

Stochastic Packing Integer Programs with Few Queries

Page 11: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

Approximately Stable Matchings with Budget ConstraintsAAAI2018 accepted

河瀬康志 (東京工業大学) 岩崎敦 (電気通信大学)

Nurse

cost util.

Nurse

: 7 8

: 6 5

: 4 4

budget= 10

: 3 5

: 1 2

budget= 3

1 / 1

Page 12: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

Approximately Stable Matchings with Budget ConstraintsAAAI2018 accepted

河瀬康志 (東京工業大学) 岩崎敦 (電気通信大学)

▶ 近似的に安定なマッチングを求めるメカニズムを構築▶ オンラインナップサック問題に対するアルゴリズムを応用

Hosp. Util.Approximation Ratio

Non-Strategy-Proof mechanisms Strategy-Proof mechanisms

Additive UB: 11−s s = max cost

budget UB: ⌈1+ln(|D|−1)1−s ⌉

(incl. Proportional) LB: 11−s (if s > 1/2) LB: open

Proportional UB: 1+√5

2 (≈ 1.618) UB: 11−s

(util.∝cost) LB: 1+√5

2 (≈ 1.618) LB: open

1 / 1

Page 13: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

計算量理論と回路最小化問題

Winter Festa Episode 3 2017年12月26日

平原 秀一

東京大学博士課程2年

日本学術振興会特別研究員(DC1)

ACT-I 「情報と未来」研究者

Page 14: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

https://en.wikipedia.org/wiki/VLSI_Technology

論理回路

•論理回路は論理ゲートを組み合わせて構成される

ORゲート

𝑥1 𝑥2

𝑥1 ∨ 𝑥2

ANDゲート

𝑥1 𝑥2

𝑥1 ∧ 𝑥2

NOTゲート

¬

𝑥

¬𝑥

例: 2入力XORを計算する回路

¬

¬

𝑥1 𝑥2

𝑥1 ⊕𝑥2

➢ 出来る限り小さいサイズ(ゲート数)の回路を求めたい。

➢ コンピュータで自動的にそのような回路を求めたい。

Page 15: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

回路最小化問題

入力

𝒙𝟏 𝒙𝟐 𝒙𝟏 ⊕𝒙𝟐

0 0 0

0 1 1

1 0 1

1 1 0

実現したい関数𝑓: 0,1 𝑛 → {0, 1}

の真理値表と自然数𝑠 ∈ ℕ

出力

関数𝑓を計算するサイズ𝑠以下の(最小の)回路が存在するか?

(入力例)

𝑠 = 5

𝑓 =

(出力)

“YES”

(実際にXORを計算する右図のような回路が存在するので。)

(Minimum Circuit Size Problem; MCSP)

Page 16: 荒瀬由紀 大阪大学大学院情報科学研究科 - ERATO ......2018/02/26  · Webデータ (Twitter, Youtubeなど) イベント コンテンツへのアクセス コンテンツの投稿

我々の成果について

成果1:現在の証明技法の限界について

成果2:平均計算量と回路最小化問題の関係

成果3:NPの中間の問題

✓ 乱択帰着の限界を示す初めての結果。

✓ MKTP ∉ coNPを示唆する初めての結果。

✓ (任意の一方向性関数の存在の下で)初めて自然なNPの中間の問題GapMCSPを構成。

[H. & Watanabe (CCC 2016)]

[H. & Santhanam (CCC 2017)]

[Allender & H. (MFCS 2017)]