chapter 7 methods of inference 知識推論法

Expert Systems sstseng 1

Chapter 7Chapter 7

METHODS OF INFERENCEMETHODS OF INFERENCE

知識推論法知識推論法


7.17.1 演繹與歸納（演繹與歸納（ Deductive and InductionDeductive and Induction ））

• 演繹 ( Deduction): 藉由前提假設而推論出結論

• 歸納 (Induction): 一葉知秋 , 見微知柱 ; 從小處歸納出一個大觀 .

• 直觀 (Intuition): 尚未被證實的理論 .

• 啟發 (Heuristics): 從既有經驗所獲得的規則 .

• Generate and test: 不斷的嘗試 , 從錯誤中學習 .


• Abduction: 從已成立的結論往回推論 ,

以得導致此結論的前提 .

• Autoepitemic: Self-knowledge

• Nonmonotonic: 舊有的知識可能被新的知識更新 , 取代

• 類比 (Analogy): 藉由比較方式 , 類似的前提會導致相同的結論 (ex: 醫療診斷 )


三段論（ Syllogism ）• 三段論（ Syllogism ）是一種邏輯論證 ,

容易理解且已被為整證明過 .– 前提 (Premise): 會寫程式的人都很聰明– 前提 (Premise): John 會寫程式– 結論 (Conclusion): 因此 , John 很聰明 .

• 一般而言 , 三段論根據演繹的論證包含了兩個前提和一個結論 .


定言三段論 (Categorical Syllogism)

形態概要意思AEIO

所有 S為 P沒有 S為 P某些 S為 P某些 S不為 P

完全肯定完全否定部分肯定部分否定

定言命題的型態


•三段論的標準形態（ Standard form ）大前提：所有 M 為 P

小前提：所有 S 為 M

結論：所有 S 為 P

- P- P 代表結論的「謂詞」代表結論的「謂詞」 (Predicate)(Predicate) ，又稱為「大詞」（，又稱為「大詞」（ Major termMajor term ））- S- S 代表結論的「主詞」代表結論的「主詞」 (Subject)(Subject) ，又稱作「小詞」（，又稱作「小詞」（ Minor termMinor term ）。）。- - 含有大詞的前提稱為「大前提」（含有大詞的前提稱為「大前提」（ Major premiseMajor premise ）；）；- - 含有小詞的前提稱為「小前提」（含有小詞的前提稱為「小前提」（ Minor premiseMinor premise ）。）。- M- M 稱為「中詞」（稱為「中詞」（ Middle termMiddle term ））


模式 (Mood)• Patterns of Categorical Statement

• 4 種 AAA 模式

Figure-1 Figure-2 Figure-3 Figure-4

大前提 MP PM MP PM

小前提 SM SM MS MS

形態 AAA-1 AAA-2 AAA-3 AAA-4

大前提 MP PM MP PM

小前提 SM SM MS MS


• ex: AAA-1– 所有 M 為 P

所有 S 為 M

∴ 所有 S 為 P

• 我們利用決策程序 (decision procedure) 來證明論證是否有效

• 三段論運用維思圖 (Venn Diagrams) 來驗證


• ex: AAA-1 的決策程序

所有 M 為 P

所有 S 為 M

∴ 所有 S 為 P

S P

M

S P

M M

S P

(a) 維思圖 (b) 大前提後 (c) 小前提後


• ex: AEE-1 的決策程序

所有 M 為 P

沒有 S 為 M

∴ 沒有 S 為 P

S P

M

S P

M M

S P

(a)維思圖 (b)大前提後 (c)小前提後


“ 某些”的表示規則

• 1. 如果該類別是空的 , 則填上較暗色彩 .• 2. 完全肯定或否定的陳述句 (Universal stat

ement): A 和 E, 會先畫• 3. 若該類別至少有一個物件 , 則以 * 標示 .• 4. 若兩個相鄰的類別沒有一個物件存在 ,

則用 * 標在線上 .• 5. 已經塗上暗色的的部分不需要標上 *.


ex: IAI-1 的決策程序

某些 P 為 M

所有 M 為 S

∴ 某些 P 為 SS P

M(b) P M一些是

S P

M

＊

(a) M S所有是


7.2 狀態與問題空間 (State and proble

m spaces)

• 樹狀結構（ Tree ） : 點 (nodes), 線 (edges)

• 有向性 (Directed)/ 無向性 (Indirected)

• 雙向圖（ Digraph ） : 圖中所有的線都是有方向性的

• 晶格（ Lattice ） : 有方向性但沒有循環性的圖


• 藉由描述物件在圖中的行為來定義該圖 ,此方法我們稱做“問題狀態空間” – 初始狀態 (Initial state)– 可用的運算元 (Operator)– 狀態空間 (State space)– 路徑 (Path)– 目標測試 (Goal test)– 路徑成本 (Path cost)


有限狀態機器（ Finite State Machine ）

• 用以辨識 WHILE 和 WRITE 的有限狀態機器

開始

H I LE

ITR

W

G IEB

not N

not Inot G

not E

錯誤

成功N


在問題空間中尋解(Finding solution in problem space)

• 狀態空間（ State space ）可以視為一個問題空間（ problem space ） .

• 在問題空間裡求解需要找出一條有效的路徑 ( 開始 -> 答案 ).

• “ 猴子與香蕉問題”的問題空間• 旅行推銷員問題（ Traveling salesman pro

blem ）• 圖形演算法 , AND-OR Trees… 等等 .


Ex: 猴子與香蕉問題• 假設：

– 房子裡有一懸掛的香蕉– 房子裡只有一張躺椅跟一把梯子– 猴子無法直接拿到香蕉

• 指示：– 跳下躺椅– 移動梯子– 把梯子移到香蕉下的位置– 爬上梯子– 摘下香蕉

• 初始狀態：– 猴子在躺椅上

猴子在躺椅上

猴子在地板上

躺椅位於香蕉下

躺椅不位於香蕉下

猴子不在梯子上

跳下躺椅觀察到躺椅在香蕉下

觀察到躺椅不在香蕉下

觀察到猴子不在梯子上

移動躺椅

猴子在梯子上

梯子不位於香蕉下觀察到梯子

不在香蕉下

觀察到猴子不在梯子上

梯子在香蕉下

觀察到梯子在香蕉下

移動猴子

移動梯子

猴子在梯子上摘下香蕉

猴子成功得到香蕉

爬上梯子


Ex: 旅行推銷員問題（ Travel Salesman Problem ）A

BD

C

(a) 旅行推銷員的問題描述

C

B

A

D

A

C

A BDB

B C DBA

C

C

DA B

A BDC

B C

D

CA

(b) ( )搜尋路徑粗線是解答路徑


非結構化問題(Ill-structured problem)

• 非結構化問題（ Ill-structured problems ）是指很多不確定因素的結合 .– 目標不明顯– 問題空間範圍尚未被介定– 問題狀態空間非離散的– 中間狀態的不易實行– 可用運算元未知– 時間限制


Ex: 旅遊代理人特徵客戶的反應

目標不明顯我在想要到底要去哪裡

問題空間範圍未被介定我不確定要去哪裡

問題狀態不是離散的我只是想去旅遊，目的地並不重要

中間的狀態不易實行我沒有足夠的錢去

狀態的可用運算元未知我不知道怎麼可以籌到錢

時間限制我必須儘快出發


7.3 規則式推論 (Rules of Inference)

• 三段論（ Syllogism ）只是邏輯陳述的其中一種方式 .

• 命題邏輯 (Propositional logic)p q

p______

q

這種命題邏輯的推論型態有很多種名子 :direct reasoning( 直接推論 ), modus ponens （離斷率） , law of detachment （分離律） , and assuming the antecedent（假設前提） .


p 　　 q 　　 p→q 　　 (p→q)p 　　 (p→q) p→q

T 　　 T 　　　 T 　　　　 T 　　　　　　 T

T 　　 F 　　　 F 　　　　 F 　　　　　　 T

F 　　 T 　　　 T 　　　　 F 　　　　　　 T

F 　　 F 　　　 T 　　　　 F 　　　　　　 T

離斷率的真值表（（ Truth table for Truth table for Modus PonenseModus Ponense ））


Law of Inference 　　　　　　　　　　　 Schemata

1.Law of Detachment　　　　　　　　　　

2.Law of the Contrapositive

3. Law of Modus Tollens

4.Chain Rules(Law of the Syllogism)

5.Law of Disjunctive Inference

6.Law of the Double Negation

p→qp ∴q

p→q∴~q→~p

p→q~q∴~p

pq~q∴p

p→qq→r∴p→r

~(~p)∴p

pq~p∴q


7.De Morgan’s Law

8.Law of Simplification

9.Law of Conjunction

10.Law of Disjunctive Addition

11. Law of Conjunctive Argument

Table 3.8 Some Rules of Inference for Propositional Logic

~(pq)∴~p ~q

~(pq)∴~p ~q

~(pq)∴~q

pq∴p

pq∴pq

p∴pq

~(pq)p∴~q

~(pq)q∴~p


命題邏輯命題邏輯分解（（ Resolution in propositional LogicResolution in propositional Logic ）

1. 將命題 (proposition) 轉換成 clause form 形式 .

2. 重複以下動作直到產生矛盾或是無法再繼續 (1) 選擇兩個 clauses, 我們稱之為 parent clauses

(2) 將 parent clauses 作 disjunction, 產生出來的 clause 稱為 resolvent, 再把有 L 和 ~L 這樣形式的元素移除

(3) 若最後 resolvent 是空的 (empty), 則矛盾產生 ;若否則再加入另一個 clause 作 disjunction, 同 (2)


Given Axioms Converted to Clause Form

p p

(p q) r 　～ p 　～ q r

(s t) q ～ s 　 q 　

～ t 　　 q

t 　 t

Figure. 　命題邏輯的 facts

(A Few Facts in Propositional Logic)

1.

2.

3.

4.

5.


～ｐˇ～ｑˇｒ

～ t ˇ ｑ

Figure. 　命題邏輯之解

(Resolution in Propositional Logic)

～ p ˇ ～ｑ

～ r

p

～ q

～ tt


加入量詞的推論加入量詞的推論(Resolution with quantifiers)(Resolution with quantifiers)

EX （ form Nilsson ）：

任何會閱讀 (Read) 的皆具有讀寫能力 (Literate).

海豚 (Dolphin) 沒有讀寫能力

一些海豚很聰明 (Intelligent).

試證明：存在一些很聰明但沒有閱讀能力的海豚 .


轉換：

To prove: 　　 x [ I ( x ) & - R ( x ) ]

x [ R ( x ) －→　 L ( x ) ]

x [ D ( x ) －→　－ L ( x ) ]

x [ D ( x ) ＆　 I ( x ) ]


(1) － (4) ：

　　 x [ － R ( x ) OR L ( x ) ] & 　 y [ － D ( y )

　　 OR － L ( y ) ] & D ( A ) & I ( A ) &

　　　 z [ － I ( z ) OR R ( z ) ]

(5) － (9) ：

　　 C1= － R(x) 　 OR 　 L(x)

　　 C2= － D(y) 　 OR 　－ L(y)

　　 C3=D(A)

　　 C4=I(A)

　　 C5= － I(z) 　 OR 　 R(z)


• 第二敘述邏輯 (The second order logic) 的量詞 (quantifiers)範圍含括函數符號 (function symbols) 與敘述符號 ( predicate symbols)

• 如果 P 是一文件中的任一敘述 (predicate– 則– x =y = ( 　 for every P [P(x) P(y) ]


7.4 7.4 推斷鏈推斷鏈　　　　　　　　 D3

A2 D2

A1 B C D1 E Solution

inference + inference +… + inference

Chain

從事實來推論結果從事實來推論結果假設可能的解答是成立的 , 再尋求相關的證據證明之

假設可能的解答是成立的 , 再尋求相關的證據證明之

forwardChaining( 向前鏈結 )

backwardChaining( 向後鏈結 )

Initial facts


　 rule1 ：　大象 (x) 　　　哺乳類 (x)

　 rule2 ：　哺乳類 (x) 動物 (x)

face ： John 是一知大象 .

　大象 (John) 成立　　　 X=John ( 變數替代 -Unification)

　大象 (x) 哺乳類 (x)

　　　　　 X’=X=John

　哺乳類 (x) 動物 (x’)

•　前向鏈結（ Forward Chaining ）：

哺乳類 (John) 成立哺乳類 (John) 成立

動物 (John) 成立動物 (John) 成立


• 變數替代（ Unification ）將變數 (variable) 用事實 (fact) 取代 ,反覆的進行變數替代最後即可得出結論 .

rule1 ： A1 and B1 　 C1

rule2 ： A2 and C1 D2

rule3 ： A3 and B2 D3

rule4 ： C1 and D3 G

facts ： A1 is true

B1 is true

A2 is true

A3 is true

B2 is true


• 前向推論（ Forward reasoning ）：

　　　　 {A1, A2, A3, B1, B2, B3} 　　 {r1, r3}

fire r1 {A1, A2, A3, B1, B2, B3,　　} 　　　 {r1, r2, r3}

fire r2 {A1, A2, A3, B1, B2, B3, C1,　　} 　　　 {r1, r2, r3}

fire r3 {A1, A2, A3, B1, B2, B3, C1 D2,　　} 　 {r1, r2, r3, r4}

fire r4 {A1, A2, A3, B1, B2, B3, C1 D2, D3,　　}

match

match

match

C1

D2

D3

G

GOAL


rule1 ： A1 and B1 C1

rule2 ： A2 and C1 D2

rule3 ： A3 and B2 D3

rule4 ： C1 and D3 D4

rule5 ： C1 and D4 G’

facts ： A1, A2, B1, B2, A3


2. 假設 G 成立

1. 假設 G’ 成立R5

R1

Verify C1 and D4

Verify A1 and B1

OK OK

訊問使用者 D4 之值 , 若為False 則 G’ 不成立

訊問使用者 D4 之值 , 若為False 則 G’ 不成立

•後向推論（後向推論（ Backward reasoning Backward reasoning ）：）：

R4

R3Verify C1 and D3

Verify A1 and B1

OK OK

Verify A3 and B2

OK OK


AA22 AA33

CC11

AA11 BB11

BB22

DD22

GG

DD33

?

GOALGOAL


•前向鏈結（前向鏈結（ Good application of forward chaining Good application of forward chaining ））

Goal

Broad and Not Deep　　　 ortoo many possible goals

Facts


•後向鏈結（後向鏈結（ Good application of backward chainingGood application of backward chaining

））

Narrow and Deep

Facts

GOALS


•前向鏈結（ Forward Chaining ）　 Planning

　 Monitoring

　 Control

　 Data-driven

　 Explanation not facilitated

•後向鏈結（ Backward chaining ）　 Diagnosis

　 Goal-driven

　 Explanation facilitated


類比 (Analogy)

• 將舊有相關的情境作為推論的參考• Consider tic-tac-toe with values as a magic

square (15 game)» 6 1 8

» 7 5 3

» 2 9 4

• 18 game from set {2,3,4,5,6,7,8,9,10}

• 21 game from set {3,4,5,6,7,8,9,10,11}


Nonmonotonic reasoning

• 在 nonmonotonic system 中 ,隨著元素的增加 ,並不一定會增加定理的數量 .

• 以一個簡單的例子來說 , 假設某一事實是和時間相關的 , 若今時間改變了 , 則該事實就不再是有效 (令人信服 ) 的了 .


7.5 Reasoning Under Uncertainty( 不確定性推論 )

• 不確定性 (Uncertainty) 是指在作決策時缺少足夠的資訊 .

• 處理不確定性的理論有 :Classical probability, Bayescian

probability, Dempster-Shafer theory, and Zadeh’s fuzzy t

heory.

• 在 MYCIN 和 PROSPECTOR 的系統中 , 即使所有前提確實證明了結論是未知的 , 也會產生很多結論 .


導致不確定的錯誤

• 假說是需被驗證的 .

• Type 1 error (false positive) 是指接受了一個不會成立 (F) 的假設 .

• Type 2 error (false negative) 是指否決了一個會被成立 (T) 的假設 .

ExampleTurn the value off Turn value-1Turn value-1 offValue is stuckValue is not stuckTurn value-1 to 5Turn value-1 to 5.4Turn value-1 to 5.4 or 6 or 0Value-1 setting is 5.4 or 5.5 or 5.1Value-1 setting is 7.5Value-1 is not stuck because it’s never been stuck beforeOutput is normal and so value-1 is in good condition

ErrorAmbiguousIncompleteIncorrectFalse positiveFalse negativeImpreciseInaccurateUnreliableRandom errorSystematic errorInvalid induction

Invalid deduction

ReasonWhat value?Which way?Correct is onValue is not stuckValue is stuckCorrect is 5.4Correct is 9.2Equipment errorStatistical fluctuationMiscalibrationValue is stuck

Value is stuck in open position


• 度量的誤差 (Error of measurement)

– 精確度 (Precision)• 公釐量尺的精確度比公分量尺高 .

– 正確性 (accuracy)


錯誤與歸納 (Error & Induction)

“ 歸納”的過程和“演繹”是相反的

　火警警報聲響起∴ 有火災發生了 .

加入一個更強烈的參數 :

　火警警報聲響起

　 & 聞道煙味

∴ 有火災發生了 .


雖然加入了一個強烈的參數 , 但依然無法證明確實發生火災 .

衣服著火了


演繹錯誤(Deductive errors)

　 p→q

　 q

　∴ p

If the value is in good condition, than the output is normal

The output is normal

∴ The value is in good condition.


Baye’s Theorem （貝氏定理）• Conditional probability （條件機率） , P(A | B) , 是指在

B事件成立的情況之下 A事件發生的機率 . Crash= Bra

nd X(0.6)+ Not X(0.1)=0.7

• P( X|C) =

　　　　 P( C | X) P(X) = (0.75)(0.8) = 6

P(C) 0.7 7

• 假設你擁有某不知名廠牌的硬碟壞掉了 ,那麼此硬碟是X牌和其他非 X牌的機率各是多少 ?


　　　　　　　 P(E∩Hi) 　　　 P(E | H i) P(Hi)

　　　　　　　 P(E ∩Hj)　　 P(E | Hj) P(Hj)

P(E | Hi)P(Hi)

　　　　　　　　 P(E)• Bayes’ Theorem （貝氏定理）利用決策樹作分析 ,最常用於商業事務或社會科學 .

• 探礦專家系統可決定何處是值得探勘的

P(Hi | E) = =

=

j j


假設推論與向後歸納(Hypothetical Reasoning and Backward Induction.)

P(+)=P(+∩O)+P(+∩O’)=0.48+0.04=0.52

P(-)=P(-∩O)+P(-∩O’)=0.12+0.36=0.48

No Oil

P(O’)=0.4

Oil

P(O)=0.6

-Test

P(- | O’)

=0.9

+Test

P(+ | O’)

=0.1

-Test

P(- | O)

=0.2

+Test

P(+ | O)

=0.8

P(-∩O’)

=0.36

P(+∩O’)

=0.04

P(-∩O)

=0.12

P(+∩O)

=0.48Joint -P(E∩H)

=P(E | Hi) P(Hi)

Probabilities

Prior

Subjective Opinion

of Site - P (Hi)

Conditional

Seismic Test Result


-Test

P(-)=0.48

No Oil

P(O’|-)

= (9)(4)

0.48

= 3/4

P(-∩O)

=0.36

P(+∩O)

=0.04

P(-∩O)

=0.12

P(+∩O)

=0.48

Joint -P(E∩H)

=P(Hi | E) P(E)

Probabilities

Unconditional

P (E)

Posterior

of Site - P(Hi | E)

P ( E| Hi) P (Hi)

　　　 P(E)

+Test

P(+)=0.52

Oil

P(O|-)

= (2)(6)

0.48

= 1/4

No Oil

P(O’|+)

= (1)(4)

0.52

= 1/13

Oil

P(O|+)

= (8)(6)

0.52

= 12/13

=


• Oil release , if successful $1250000• Drilling expense -$200000• Seismic survey -$50000• Expected payoff (success)

• 846153=1000000 *12/13 – 1000000*1/13

• Fail• -500000= 1000000*1/4- 1000000*3/4

• Expected payoff (total)• 416000= 846153*0.52 – 50000 * 0.48


時態推論 (Temporal reasoning) 和 Markov chain

• 時態推論 (Temporal reasoning): 推論的事件和時間相關

• 時態邏輯 (Temporal logic)

• The system’s progression through a sequence of status is called a Stochastic process(隨機過程 ) if it is probabilistic.


– P11 P12

– P21 P22

– Pmn 是指從狀態 m轉換到狀態 n 的機率 .

S = { P1,P2, …, Pn} where P1+P2+…+Pn= 1

S2 = S1 T

S2 = [0.8,0.2] = [0.2,0.8]0.1 0.9

0.6 0.4


• 假設有 10% 的人擁有 X牌的硬碟會再買該牌的硬碟 .60% 的人不使用 X牌硬碟但下次會買 .問再一段時間之後會有多少人使用 X牌硬碟 ?S3 = [0.5,0.5], S4 = [0.35,0.65],

S5 = [0.425,0.575], S6 = [0.3875,0.6125]

S7 = [0.40625,0.59375], S8 = [0.396875,0.602125]

Steady state matrix


The odds of belief

• “這個病人渾身佈滿紅疹”• 提議 A: “這個病人罹患麻疹”• P(A|B) :( 在 B事件下 A 成立的可信度 )is

not necessarily a probability if the events and propositions can not be repeated or has a math basis.


• 在 C事件下 A,B 相斥的機率 =P(A|C)/ P(B|C)

• If B = A’ – odds =P(A|C)/ P(A’|C) =P(A|C)/ (1-P(A|C) )

• Likelihood of P = 0.95– Odds = .95/(1-.95) = 19 to 1


Sufficiency and necessity

Bayes’ Theorem is

　　　　　　　 P(H|E) =

Negation P(H’|E) =

P(E | H)P(H)

P(E)

P(E | H’)P(H’) 　　　 P(E)


P(H | E) 　 P(E | H) P(H)

P(H’ | E) 　 P(E | H’) P(H’)

Defining the prior odds on H as

　　　　 P(H)

　　　　 P(H’)

　　　　　 P(H | E)

　　　　　 P(H’ | E)

Likelihood ratio

O(H) =

＝

O(H | E) =


　　　 P(E | H)

　　　 P(E | H’)

O(H | E) = LS O(H)

odds-likelihood form of Bayes’ Theorem.

The factor LS is also called likelihood of sufficiency

because if LS =∞

then the evidence E is logically sufficient for conclu

ding that H is true.

LS=


LS 　　　　　　　　　 Effect on Hypothesis

0 　　　　　　　　　 H is false when E is true or

　　　　　　　　　　 E’ is necessary for concluding H

Small(0<LS<<1) 　　　 E is unfavorable for concluding H

1 　　　　　　　　　 E has no effect on belief of H

Large(1<<LS) 　　　　 E is favorable for concluding H

　　　　　　　　　 E is logically sufficient for H or

　　　　　　　　　　 Observing E means H must be true


LN 　　　　　　 Effect on Hypothesis

0　　　　　　　 H is false when E is true or E is necessary for H

small(0<LN<<1)　 Absence of E is unfavorable for concluding H

1　　　　　　　 Absence of E has no effect on H

large(1<<LN)　　 Absence of E is favorable of H

　　　　　　　 Absence of E is logically sufficient for H


推論鏈中不確定性 (Uncertainty in inference chains)• Uncertainty may be present in rules,

evidence used by the rules, or both.


Expert Inconsistency

If LS > 1 then P(E | H’) < P(E | H)

1 – P(E | H’) > 1 – P(E | H)

　　　 1-P(E | H)

　　　 1-P(E | H’)

Case 1 ： LS>1 and LN <1

Case 2 ： LS<1 and LN >1

Case 3 ： LS= LN = 1

LN= < 1


Exercise1. 考慮以下的事實與規則，試以前向鏈結和後向鏈結描

述其推論過程。事實 : A1, A2, A3, A4, B1, B2規則 : R1: A1 and A3 --> C2

R2: A1 and B1 --> C1R3: A2 and C2 --> D2R4: A3 and B2 --> D3R5: C1 and D2 --> G1R6: B1 and B2 --> D4R7: A1 and A2 and A3 --> D2R8: C1 and D3 --> G2R9: C2 and A4 --> G3

目標 : G1, G2 and G3

chapter 7 methods of inference 知識推論法

Documents