評価関数を用いた エージェント間の交渉

評価関数を用いた評価関数を用いたエージェント間の交渉エージェント間の交渉

評価関数を用いた評価関数を用いたエージェント間の交渉エージェント間の交渉

55 月２８日月２８日河目　瞬河目　瞬

Artifical Intelligence 84(1996) 151-176Artifical Intelligence 84(1996) 151-176『『 Compromise in negotiation : exploing worth functionCompromise in negotiation : exploing worth function

s over statess over states 』』Gilad Zlotkin , Jeffrey S. RosenscheinGilad Zlotkin , Jeffrey S. Rosenschein

２人で野球観２人で野球観戦に行きたい戦に行きたい２人で野球観２人で野球観戦に行きたい戦に行きたい

２人で映画を２人で映画を見に行きたい見に行きたい２人で映画を２人で映画を見に行きたい見に行きたい

話し合い　　

どうする？　　

エージェント１ エージェント２

例：ミーティングの設定

二人はミーティングを行いたい

・時間帯が遅くなってから行いたい。・自分のオフィスで行いたい。

・時間帯が早いうちに行いたい。・自分のオフィスで行いたい。

エージェント A1

エージェント A2

価値の概念の導入

エージェントにとって、どれだけ好ま

しい状態なのかを表す指標

状態に価値を与える

0

20

40

60

80

100

120

140

160

180

200

9am 10am 11am noon 1pm 2pm 3pm 4pm

エージェント A1 の評価関数

ミーティングの時刻

価値

A １にとって、午後４時のミーティングが最も高い価値

エージェント A1 の最も好ましい時間帯が、午後４時であるとする

0

20

40

60

80

100

120

140

160

180

200

9am 10am 11am noon 1pm 2pm 3pm 4pm

エージェント A2 の最も好ましい時間帯が、午前９時であるとする

エージェント A2 の評価関数

A2 にとって、午前９時のミーティングが最も高い価値

ミーティングの時刻

価値

0

10

20

30

40

50

60

70

80

90

100

エージェント A1 のコスト関数

コスト

ミーティングの場所A2 オフィスA1 オフィス

エージェント A1 にとって、自分のオフィスに近いほど、移動コストがかからない

A1 にとって、 A1 オフィスでのミーティングが最も低いコスト

0

10

20

30

40

50

60

70

80

90

100

エージェント A2 のコスト関数

コスト

ミーティングの場所A1 オフィス A2 オフィス

エージェント A2 にとって、自分のオフィスに近いほど、移動コストがかからない

A2 にとって、 A ２オフィスでのミーティングが最も低いコスト

双方のエージェントにとって、ユーティリティとは、　　

ユーティリティ＝価値ーコスト

エージェントは、これを最大にエージェントは、これを最大にしたいしたい

エージェントは、これを最大にエージェントは、これを最大にしたいしたい

ユーティリティの定義　　

エージェント A1 のユーティリティ関数

A1 オフィス

A2 オフィス4pm

3pm

2pm

10m

noon

11am

10am

9am

020406080

100120140160180200

ユーティリティ

エージェント A1 にとって午後４時に、A1 オフィスで開かれることが最も好ましい

４ｐｍ、 A1 オフィスでのユーティリティが最大

4pm

3pm

2pm

10m

noon

11am

10am

9am

0

50

100

150

200

エージェント A2 のユーティリティ関数

ユーティリティ

A2 オフィス

A1 オフィス

エージェント A2 にとって午前９時に、A2 オフィスで開かれることが最も好ましい

９ am 、 A2 オフィスでのユーティリティが最大

２人のユーティリティの和を最大にする

２人のユーティリティの積を最大にする

２人のエージェントの話し合いの結果として・・・

２人のユーティリティの兼ね合いが、最大になる点を結論として考える

２つのアプローチの仕方がある

２人のユーティリティの和を最大にする9a

m

10am

11am

noon

1pm

2pm

3pm

4pm

0

50

100

150

200

250ユーティリティの和

A1 オフィス

A2 オフィス

２人のユーティリティの和

が最大となる点を、話し合いの解決とする

上の４つの状態が、ミーティングの行われる状態となる

２人のユーティリティの積を最大にする9a

m

10am

11am

noon

1pm

2pm

3pm

4pm

0

2000

4000

6000

8000

10000

12000ユーティリティの積

A1 オフィス

A2 オフィス

２人のユーティリティの積

が最大となる点を、話し合いの解決とする

上の２つの状態が、ミーティングの行われる状態となる

２人のユーティリティの積を最大にする

ゲーム理論の「ナッシュの定理」に基づくもの。

「ナッシュの定理」とは？

２人交渉問題のナッシュ解は、５つの公準を満たし、かつ、この５つの公準を満たす解は、ナッシュ解に限る。

ナッシュ解：２人のユーティリティの積を　　　　　　　　最大にする解

５つの公準

（１）個人合理性

（２）共同合理性

（３）利得の一次変換での不変性（４）対称性（５）無関連な代替案からの独立性

２人のユーティリティの積を最大にする解

５つの公準を満たす唯一解である

５つの公準とは、交渉の特性を述べている

交渉問題において、適切と思われるのは、ユーティリティの積を最大にする解である

つまり

（ Worth Oriented Domains ：価値指向領域）WOD の定義

WOD では、各エージェントが評価関数を用いて、全ての状態に価値を割り当てている。

WOD （ Worth Oriented Domains ）

＜ Ｓ , A , J , c ＞ Ｓ： 領域の状態A ： エージェントJ ： 共同プランc : コスト関数

Ｓ： 全ての取り得る、領域の状態の集合

＜ Ｓ , A , J , c ＞

A ＝｛ A1,A2, ・・・ ,An ｝：エージェントリスト

J ： 全ての取り得る、共同プランの集合ｊ： S→S 　　　 j∈J

ｃ： コスト関数

ｃ（ｊ） i ： プラン ｊ におけるエージェント i の 活動のコスト

ｃ： J→ （ R ＋）ｎ

WOD 内で問題を解くために、まずあるものとして、

＜ｓ , （ W1,W2, ・・・ Wn）＞

さらに

ｓ : 領域の初期状態Wk : エージェント k の評価関数

交渉のエージェントに関する５つの仮定

(1) Utility maximizer

各々のエージェントは、彼の期待したユーティリティを最大にすることを望む

(2) Complete knowledge

各々のエージェントは、全ての関連情報を知っている

(3) Isolated negotiation

各々のエージェントは、現在の振る舞いが将来の交渉においてどんな影響を及ぼすか予期することができない。

(4) Bilateral negotiation

交渉は一度に、エージェントのペア一組の間で行われる。

(5) Symmetric abilities

全てのエージェントは、同じ活動が実行できる。そして、活動のコストは、各エージェントにとって同じである。

例：ブロック移動問題　（１人のエージェントの

み）

１ ２ ３ ４

エージェント A1

①黒い箱をテーブル２に置きたい。ただし、　直接テーブルの上には置かない。②白い箱をテーブル３にひとつだけで置　きたい。

①のサブゴールの評価：４②のサブゴールの評価：６

箱を持ち上げるコスト：１箱を下ろすコスト：１

321 4

f1

f2

f3

サブゴール①を満たしている

サブゴール②を満たしている

両方のサブゴールを満たしている

コスト２

コスト４

コスト８

•ｆ１の状態　 W ４－C ２＝ U ２

•ｆ２の状態　 W６－ C ４＝

U ２•ｆ３の状態 W （４＋６）－ C ８＝ U ２

３つの状態が皆同じユーティリティ。

W ：評価（価値）C ：コストU ：ユーティリティ

ペナルティを導入

•ｆ１の状態　 W ４－ C ２ーペナルティ６＝ U－４•ｆ２の状態　 W６－ C ４ーペナルティ４＝ U－２•ｆ３の状態　 W （４＋６）－ C ８ーペナルティ０＝ U ２

ｆ３の状態が、最良の状態。

サブゴールの不達成に対し、負の評価を与え

る

例：ブロック移動問題　（２人のエージェントによ

る）

混合共同プランの導入

・混合共同プランとは？

エージェントが、確率 p で共同プラン j ＝（ j1 、 j2 ）を実行し、また確率１ー p で対称的な共同プラン（ j2 、 j1 ）を実行するようなプランのこと

1 ２ ３ ４

エージェント A1 エージェント A2

①黒い箱はテーブル１に置くが、その際、白い箱の上に置く。②灰色の箱はテーブル３に置く

①黒い箱はテーブル１に置くが、その際、白い箱の上に置く。②灰色の箱はテーブル４に置く

①の評価：１０②の評価：４サブゴールの不達成によるペナルティ：①②ともにー２

両者が、サブゴール①を満たすには・・・

各々コスト２

１ ４３２

灰色の箱を置く場所によって２つの最終状態がある

エージェント A1 が望む状態

エージェント A2 が望む状態

この状態にするプラン δ １

この状態にするプラン δ ２

UA1(δ1) ＝ W （１０＋４）－ C （２＋２）＝１０

UA1(δ2) ＝ W １０ーペナルティ２ー C ２＝６

UA2(δ1) ＝ UA1(δ2) ＝６

UA2(δ2) ＝ UA1(δ1) ＝１０

ユーティリティを計算すると・・・

コスト１０

　 U ＝ W （１０＋４）－C １０＝４

１人で完全なゴールを達成するよりも U がいい。

マルチプラン deal の導入

エージェントが、確率ｑで混合共同プラン δ １を

実行し、また確率１ーｑで対称的な混合共同プラン δ ２を実行する。

・マルチプラン deal とは？

エージェント A1 が望む状態

エージェント A2 が望む状態

この状態にするプラン δ １

この状態にするプラン δ ２

確率ｑ

確率１－ｑ

マルチプラン deal におけるユーティリティの定義

エージェントのユーティリティ　　　＝ｑ× （ δ １でのユーティリティ）　　　　　＋（１－ｑ） × （ δ ２でのユーティリテ

ィ）

エージェント A1 が望む状態

エージェント A2 が望む状態

この状態にするプラン δ １

この状態にするプラン δ ２

確率０．５

確率０．５

A1 ユーティリティ１０A2 ユーティリティ６

A1 ユーティリティ６A2 ユーティリティ１０

ユーティリティを計算すると・・・

UA1 ＝０．５ × １０＋０．５ ×６＝８UA2 ＝０．５ ×６＋０．５ × １０＝８

UA1 × UA2 ＝ ８ × ８＝６４

エージェント A1 が望む状態

エージェント A2 が望む状態

この状態にするプラン δ １

この状態にするプラン δ ２

A1 ユーティリティ１０A2 ユーティリティ６

A1 ユーティリティ６A2 ユーティリティ１０

例：タイルワールド

２ ２２

２

５５

３４

A １

A ２穴（数字は、埋めた時の価

値）

タイル（これで穴を埋める）

障害物エージェント

エージェントによって違う価値

を当てられている穴

A

A

A

A ２A A

１マス移動でコスト１

１５９

０

０

９

A1

A2

１１

5

10

5 10

世界の初期状態

１５

A1

１１

5

10

5 10

9

0A1

A1A1A1

A1A1

A1A1

A1 A1

エージェント A1 が１人で１５の穴を塞ごうとすると・・・

コスト１０

ユーティリティ５

１５

１１

5

10

5 10

A1

9

0A1

A1

A1

A1A1A1

A1

A1 A1 A1 A1

エージェント A1 が１人で９の穴を塞ごうとすると・・・

コスト１２

ユーティリティ -3

１５

１１

5

10

5 10

A1

9

0A1

A1

A1

A1A1

A1A1

A1A1

A1 A1

A1 A1 A1 A1

エージェント A1 が１人で両方の穴を塞ごうとすると・・・

コスト１６

ユーティリティ８

エージェント A1

１５の穴のみを塞ぐ：ユーティリティ５

９の穴のみを塞ぐ：ユーティリティ－３

両方の穴を塞ぐ：ユーティリティ８

A1 は両方の穴を塞いで、最大ユーティリティ８を得る。

１５

A2

１１

5

10

5 10

9

0

A2

A2A2A2

A2A2

A2A2

A2 A2

エージェント A2 が１人で１５の穴を塞ごうとすると・・・

コスト１０

ユーティリティ５

１５

１１

5

10

5 10

9

0

A2

A2

A2 A2

A2 A2 A2

エージェント A2 が１人で９の穴を塞ごうとすると・・・

コスト６

ユーティリティ３

１５

１１

5

10

5 10

9

0

A2

A2

A2

A2A2

A2 A2

A2A2

A2 A2 A2

A2 A2 A2

A2

エージェント A2 が１人で両方の穴を塞ごうとすると・・・

コスト２２

ユーティリティ２

エージェント A2

１５の穴のみを塞ぐ：ユーティリティ５

９の穴のみを塞ぐ：ユーティリティ３両方の穴を塞ぐ：ユーティリティ２

A2 は１５の穴のみを塞いで、最大ユーティリティ５を得る。

１５９

０

０

９

A1

A2

１１

5

10

5 10

A2

A2

A1A1

A2

A1

A1

A1

A2

A1 A1 A1

２人のエージェントがA1 の両方の穴を塞ごうとすると・・・

A1コスト８

A2 コスト５

A1 ユーティリティ１６ A2 ユーティリティ１０

１５９

０

０

９

A1

A2

１１

5

10

5 10

A1

A1

A2A2

A2

A1

A2

A2

A2 A2 A2

A2

２人のエージェントがA2 の両方の穴を塞ごうとすると・・・

A1コスト４

A2 コスト９

A1 ユーティリティ１１ A2 ユーティリティ１５

２人のエージェントA1 の穴を両方を塞ぐ：　　　　　　 A1 ユーティリティ１６

　　　　　　 A2 ユーティリティ１０A2 の穴を両方を塞ぐ：

　　　　　　 A1 ユーティリティ１１

　　　　　　 A2 ユーティリティ１５

１６０

１６５

２人は、 A2 の穴を両方塞ぐ

マルチプラン deal を適用させる

A1 の穴を両方を塞ぐ：　　　　 A1 ユーティリティ１６　　　　 A2 ユーティリティ１０

A2 の穴を両方を塞ぐ：　　　　 A1 ユーティリティ１１　　　　 A2 ユーティリティ１５

確率０．６

確率０．４

ユーティリティを計算すると・・・

UA1 ＝０．６× １６＋０．４ × １１＝１３UA2 ＝０．４ × １０＋０．６× １５＝１３

UA1 × UA2 ＝ １３ × １３＝１６９

まとめ

・交渉問題を考える手法のひとつとして、 WOD を紹介した。

・ WOD を使った例をいくつか紹介した。

参考文献

・『意思決定支援のためのマルチエージェントの協調機構と、　　その応用に関する研究』　　　　　　　　　　　　　伊藤孝行

・『分散人工知能：交渉と均衡化』　　桑原　和宏、石田　亨　　　　　　　　　　　　　

・『新ゲーム理論』　　　　　　　　　　　　　　　　　　鈴木　光男