類神經網路與貝氏分類法應用於...

14
61 農業機械學刊 8 3 1999 9 類神經網路與貝氏分類法應用於 影像分割之比較研究 張仁明 1 ,林達德 2 1. 國立台灣大學農業機械工程學研究所碩士 2. 國立台灣大學農業機械工程學系教授,本文通訊作者 影像分割為進行影像分析的重要前處理步驟,此步驟的成效對於後續影像分 析的結果通常有顯著之影響。貝氏分類法與類神經網路則為監督式學習自動影像 分割方法中較為被廣泛應用者。本研究之主要目的為以類神經網路與貝氏分類法 建立適用於不同背景與照明條件下的影像分割方法,同時進行兩種方法的比較分 析及闡明其適用性。我們首先以物件導向程式建立了應用貝氏分類法與類神經網 路的影像分割軟體元件,再以二維資料進行分析,利用空間座標的表示法分別比 較兩種方法在可線性分離、非凸集、以及相互包含等三種資料類型的分類效果。 在彩色影像的影像分割應用方面,則以蔬菜種苗影像為對象,依據影像元素色彩 資訊的空間分佈情形,探討兩種方法的分類效果。實驗結果顯示,對於照明良好 與背景單純的彩色影像,貝氏分類法與類神經網路的影像分割效果接近,平均分 類誤差均小於 1%。但對於複雜背景之影像則以類神經網路的影像分割效果較佳, 同時類神經網路對於學習過程中取樣均勻程度的要求較具有強健性。 關鍵詞:影像處理、影像分割、類神經網路、貝氏分類法 COMPARATIVE STUDIES ON IMAGE SEGMENTATION USING NEURAL NETWORK AND BAYESIAN CLASSIFICATION METHOD Jen-Ming Chang 1 , Ta-Te Lin 2 1. Former graduate student, Dept. of Agricultural Machinery Engineering, National Taiwan University. 2. Professor, Dept. of Agricultural Machinery Engineering, National Taiwan University, Corresponding Author. ABSTRACT Image segmentation is an important preprocesing procedure for image analysis. The result of image segmentation significantly affects the accuracy of subsequent image analysis. The Bayesian and neural network classification methods are widely used for automatic and supervised image segmentation. The objectives of this

Upload: others

Post on 08-Aug-2020

26 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

61農業機械學刊 第 8卷 第 3期 1999年 9月

類神經網路與貝氏分類法應用於影像分割之比較研究

張仁明 1,林達德 2

1.國立台灣大學農業機械工程學研究所碩士

2.國立台灣大學農業機械工程學系教授,本文通訊作者

摘 要

影像分割為進行影像分析的重要前處理步驟,此步驟的成效對於後續影像分

析的結果通常有顯著之影響。貝氏分類法與類神經網路則為監督式學習自動影像

分割方法中較為被廣泛應用者。本研究之主要目的為以類神經網路與貝氏分類法

建立適用於不同背景與照明條件下的影像分割方法,同時進行兩種方法的比較分

析及闡明其適用性。我們首先以物件導向程式建立了應用貝氏分類法與類神經網

路的影像分割軟體元件,再以二維資料進行分析,利用空間座標的表示法分別比

較兩種方法在可線性分離、非凸集、以及相互包含等三種資料類型的分類效果。

在彩色影像的影像分割應用方面,則以蔬菜種苗影像為對象,依據影像元素色彩

資訊的空間分佈情形,探討兩種方法的分類效果。實驗結果顯示,對於照明良好

與背景單純的彩色影像,貝氏分類法與類神經網路的影像分割效果接近,平均分

類誤差均小於 1%。但對於複雜背景之影像則以類神經網路的影像分割效果較佳,

同時類神經網路對於學習過程中取樣均勻程度的要求較具有強健性。

關鍵詞:影像處理、影像分割、類神經網路、貝氏分類法

COMPARATIVE STUDIES ON IMAGE SEGMENTATIONUSING NEURAL NETWORK AND BAYESIAN

CLASSIFICATION METHODJen-Ming Chang1, Ta-Te Lin2

1. Former graduate student, Dept. of Agricultural MachineryEngineering, National Taiwan University.

2. Professor, Dept. of Agricultural Machinery Engineering, NationalTaiwan University, Corresponding Author.

ABSTRACT

Image segmentation is an important preprocesing procedure for image analysis.The result of image segmentation significantly affects the accuracy of subsequentimage analysis. The Bayesian and neural network classification methods are widelyused for automatic and supervised image segmentation. The objectives of this

Page 2: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

62 農業機械學刊 第8卷 第3期 1999年9月

research were to establish image segmentation methods for various background andlighting conditions based on Bayesian and neural network methods, and to comparethe efficacy and feasibility of applying these two methods under different conditions.Software components employing object oriented programming language for colorimage segmentation was initially built and tested with 2-dimensional data sets. Thesedata sets were represented with 2-dimensional plots corresponding to linearlyseparable, non-convex, and mutually included classification patterns. The data setswere classified with both the Bayesian and neural network methods, and the resultswere compared and discussed. Finally, color images of selected vegetable seedlingsunder different background and lighting conditions were tested. The results wascompared along with the spatial distribution of pixels in RGB color coordinates. Theexperimental results indicated that under good lighting and uncomplicatedbackground conditions, the use of Bayesian and neural network methods were notsignificantly different. The average errors of image segmentation were all below 1%.However, for images with complex background, image segmentation using neuralnetwork showed better result than the Bayesian method. In terms of the samplingrequirement during the learning phase, the neural network method showed betterrobustness.

Keywords:Image processing, Image segmentation, neural network, Bayesianclassification.

一、前言與研究目的

影像分割(image segmentation)通常為進行影

像分析的重要前處理步驟,影像分割處理效果的

良窳常影響到後續影像分析的結果。而對影像進

行影像分割時,其過程可以視為對影像元素依灰

階或色彩資訊進行分類(分群)的動作,最簡單

的分類就是直接找出一個閥值(threshold value)或

多個閥值,將影像元素之灰階或色彩資訊依此閥

值加以分類,例如將影像中之物件與背景加以分

離,或是將不同之影像物件加以分類等。

早期的影像處理應用,因受限於電腦運算之

速度,以灰階影像之處理較為普遍,而在灰階影

像的影像分割處理方法上,最常使用的方法為閥

值法(Threshold method),閥值的選定可以由人為

主觀設定或是應用演算法自動計算求得。在自動

計算閥值的方法中,以影像元素之灰階統計分佈

特性為基礎的演算法為較普遍應用的方法之一。

而以統計為基礎的方法又大致可分為監督式

(supervised)與非監督式(non-supervised)兩大類。

監督式的方法,在求取閥值前需要經人工提供基

本資料或經過訓練後再依這些資料演算以找出閥

值,而非監督式之方法則由影像中之灰階統計分

佈直接尋找最佳的閥值。這兩大類的方法,大部

分是由貝氏分類法(Bayesian classification method

)為基礎所演進,因此其限制與分類效果都頗為

接近(Simonton and Graham, 1996)。

在彩色數位影像的處理上,我們知道一般影

像中每一個影像元素是由紅綠藍(RGB)三原色所

組成(或是由其他色彩模式所表示,但均為三維

資料),因此在進行影像元素的分類時,所考慮

的不再是單一個灰階值,而是RGB三維資料。因

此,從另一個觀點來看,彩色影像的分割處理可

視為對於三維色彩空間座標中的許多點座標進行

分類的過程,我們希望將這些點座標按照某些規

則將其正確的分類。當影像分割的目的僅是將影

像中的物件(前景)與背景加以分離時,則為將

影像中的影像元素分為兩類。對彩色影像而言,

常被應用的方法大致有三大類:(1)分別對於三維

資料的每一維資料進行類似灰階資料的閥值法分

Page 3: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

63類神經網路與貝氏分類法應用於影像分割之比較研究

類,再將各維度之結果合併以進行影像分割,此

種方法可視為在色彩空間中分割出一個立方體以

與其他區域區隔分類,(2)使用高維的貝氏分類函

數進行分割,(3)使用類神經網路進行分類。

進行影像分割前若能以正確的照明再擷取影

像,不僅對於處理的方法可以簡化,通常在後續

的分析上亦可以得到較好的結果或資訊。然而,

在照明條件受到限制時,或是影像的擷取必須在

外界(自然光)的情形下,影像分割的方法便變

為更具挑戰性,此過程所得到的結果對於影像的

後續分析將有決定性的影響。以另一個觀點來

看,一個機器視覺系統的影像分割方法若是具有

強健性,則此機器視覺系統的在不同的照明條件

下的適用性將更為廣泛。

在沒有特定人為照明的自然光條件下擷取影

像,常見的問題包括了:(1)取像時光線隨時間的

變化,(2)照明光源角度變化的影響,(3)光線的過

強或不足,(4)外界的干擾造成影像雜訊。這些問

題在應用於農業的機器視覺系統上,如田間自走

機械的機器視覺系統或是溫室植物的影像監測應

用上,均是需要良好的影像分割方法來加以克

服。因此本研究乃對應用於自然光條件下的影像

分割方法加以探討,主要之研究目的為:

以類神經網路與貝氏分類法建立適用於不同背

景與照明條件下的影像分割方法。

進行兩種方法的比較分析及討論其適用性。

二、文獻探討

由於影像分割經常為機器視覺系統前處理的

必要手段,尤其是需要將影像中之物件由背景中

分割出來之情形最為普遍。而影像分割的方法則

隨著應用對象的不同或需求上的差異而有不同的

演算方法。Tian 等人(1997)在戶外的自然光條

件下,發展了一套彩色機器視覺系統以區分及定

位番茄幼苗與雜草,在其研究中多方面地探討了

自然光條件下的影像分割方法,以分割影像中的

植物與背景,進而將去除背景後之番茄幼苗與雜

草加以區分。在影像分割的方法上,是採用了貝

氏分類法去分離背景,同時為了避免訓練的結果

受到光線強度的影響,影像之色彩輸入由RGB三

原色,正規化換算為 rgb 值再加以計算。該研究

中所發展的植物特徵辨識方法,可以正確地辨識

65%至 78%之番茄幼苗,而雜草被誤判為番茄幼

苗之比例則小於 5%。Pla 等人(1993)針對應用於

果樹採收機器人之機器視覺系統,發展適用於戶

外自然光條件下的影像分割方法,他們在考慮水

果本身反射及葉片造成陰影的情形下,建立了色

彩反射模式以進行果樹中水果之影像分割與定

位,實驗結果顯示應用此方法定位水果之平均正

確率為 95%。

Simonton與Graham (1996) 的研究中對植物之

影像進行結構分析,為了正確分割出植株,利用

貝氏分類法進行背景的分離,輸入值為影像元素

的RGB三原色,直接分離出植株前景與背景。在

結構分析的部份,則對植物結構訂定不同的模糊

從屬函數以計算屬於不同結構的程度。在該研究

中,亦探討了在色彩資訊外再加上植株幾何參數

後對於植株分離與辨識的效果。Woebbecke 等人

(1995) 使用二元影像進行植物型態特徵的抽取,

再利用不變矩的觀念進行幼苗的辨識。在此篇論

文中,所取得之彩色影像於進行型態特徵的分析

前,先將影像依不同之對比指標完成灰階化處

理,然後再以人工判斷的方式決定閥值進行影像

分割。Panigrahi 等人(1995)在其針對玉米穗幾何

尺寸之影像量測的論文中,所發表的背景自動分

離方法,則是利用影像灰階之統計直方圖資訊,

依 Otsu (1979)所發展的方法加以修正與改良,在

該研究中分別由主觀視覺、均勻度與尺寸量測等

三項指標來評估背景分離的方法與效果,對所測

試的八十張玉米穗灰階影像進行背景分離的結果

顯示,修正的方法顯著較原方法限制較少,在尺

寸量測的準確度上亦較佳。鄭與林(1997)為探

討蔬菜種苗生長狀態與環境因子間的關係,發展

了一套以機器視覺系統為基礎的自動化量測系

統,以進行種苗生長過程的動態量測,量測對象

為甘藍種苗,該系統使用灰階CCD攝影機配合影

像處理卡擷取種苗側面影像以進行影像處理,並

配合一個由步進馬達驅動,可在水平面上旋轉的

圓盤平台以進行實驗。灰階影像擷取後依其統計

直方圖進行自動閥值之搜尋,以進行影像二元化

Page 4: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

64 農業機械學刊 第8卷 第3期 1999年9月

求得投影面積,進而利用校正方程式推算種苗之

鮮重、乾重與葉片面積。

除了利用色彩資訊進行影像分割外,影像中

的質地特徵(texture features)亦常被應用於影像中

物體與背景之判斷。Shearer與Holmes (1990)應用

彩色影像之色彩資訊及 33 項質地特徵進行植物

種苗的分類判斷,在七種植物種苗的 350張影像

中,其成功判斷率為 91%,此結果較僅利用色彩

資訊的方法有顯著之改善。

Timmermans與 Hulzebosch(1995)之研究中

以類神經網路進行影像分割,從而應用於盆栽植

物的線上選別。在分類方法的選擇上,論文中比

較統計辨別分析方法中的線性辨別分析(LDA,

Linear discriminant analysis)、二次式辨別分析

(QDA, Quadratic discriminant analysis) 與類神經

網路三種方法的分類效果。實驗的結果顯示在較

複雜的情況下,以類神經網路有較佳的分離結

果,利用此三種方法進行盆栽植物分類的誤差依

LDA、QDA 與類神經網路之順序分別為 9.6%、

6.6%及 1.6%。Lee 與 Slaughter (1998) 之研究中使

用硬體類神經網路的方式以加快運算速度,達到

即時影像分割之目的,在其論文中指出貝氏分類

法已普遍地使用於農業上,但對於影像分割之效

果仍有待改進,因此使用類神經網路以進行影像

分割,並且使用硬體進行運算,在對番茄子葉、

本葉與雜草的辨識實驗結果上,其辨識正確率分

別為 38.9%、37.5%、85.7%。

三、貝氏與類神經網路分類法

貝氏分類法(Bayesian classification)

貝氏分類法的理論是基於統計原理的分類觀

念,我們知道每一個類別樣本空間可以求其平均

值與標準差。若類別本身為常態分佈,則當已知

其平均值與標準差時則可定義其分佈情形。常態

分佈函數,其變數 x 與變數出現機率 P(x)間的關

係式如下:

P x = 12

exp 12x u 2

2 (1)

其中 為標準差,u為平均值。

當有一數值 x需要去分辨其所屬類別時,則

將 x分別代入代表各類別之分佈函數中,以求出

x 在各類別之可能出現機率值,並比較此數值 x

在那一個類別有最高的出現機率,則可據以判斷

其所屬之類別。而對於一群高維度資料加以分類

的基本觀念亦與上述相同,但其分佈函數則必須

加以擴充如下(Duda與 Peter, 1973):

P X Ci = 2d2 Vi

12 exp

12 X Ui T Vi 1 X Ui (2)

其中Ci為類別 i所有特徵所構成之向量,P X Ci

為資料向量X屬於類別 i的條件機率,Ui為類別 i

所有資料的平均向量,Vi為類別 i所有資料的變

異矩陣, d為資料向量的維數。以彩色影像每個

像素點之RGB值為例,其維數d=3,RGB值則為

資料向量 X 的三個分量。當 d=1時(例如灰階影

像),(2)式可化簡為(1)式。

同理,對於一個高維度資料判斷其所屬類

別,我們亦只需將資料向量X分別代入各已知其

平均向量與變異矩陣之類別所對應的分佈函數

中,以找出何者有最大之機率再加以歸類。各類

別分佈函數之平均向量與變異矩陣之決定通常是

由樣本空間取樣以監督式學習或訓練的方式求

得。然而由於每一個類別族群取樣的資料數量不

一定一樣,在對未知類別的資料向量X進行分類

判斷時,可以對每一個類別依訓練取樣的樣本數

量多寡,在計算資料向量 X 之機率後再加以權

重,亦即:

Pw X Ci =P X Ci Wi (3)

其中Pw X Ci 為資料向量 X 經過權重後屬於類別

Ci的條件機率,Wi為第 i類別的加權係數,通常

可以利用第 i類別取樣點在全體取樣點中之比例

為加權係數,或是依應用對象之不同或類別的重

要性另予定義。而當每個類別的取樣數量一樣

時,則(3)式中各類別之加權係數可視相同,即無

需加權。同時若各類別之變異矩陣Vi均相等時,

由(2)式中可看出比較資料向量X屬於各類別之條

件機率時,僅需要進行指數項內 i值 < i 0

之計算然後加以比較即可,其式如下:

i=12 X Ui T X Ui (4)

Page 5: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

65類神經網路與貝氏分類法應用於影像分割之比較研究

因此在應用上,若有兩個資料類別其取樣量相

同,例如運用貝氏分類法分離影像背景與前景物

體時,其計算步驟可摘要如下:

1. 取兩群樣本分別屬於此兩類別,分別計算其

平均向量Ui。

2. 將資料向量X分別代入對應於各類別之(4)式,

取相對具有最大值的 i之 i類別為此資料向量

X所屬之類別。

類神經網路分類法(neural networkclassification)

類神經網路的原理為模擬人腦的思考方式,

依人腦中每個神經元與神經元間的突觸所傳遞的

訊息強弱,刺激下一個神經元使其產生不同大小

的訊號向外輸出。在實作應用上,類神經網路經

過簡化成為一單向多連結的架構,通常分為輸入

層、隱藏層與輸出層三部分,各層以節點與連接

線連結,每一連接線分別記錄了權重,而節點本

身則記錄偏移植。亦即一個信號若從連接線的一

端輸入,其輸出給另一端的數值為輸入值乘上權

重,而在接受此信號的節點反應則為,其所接受

到的輸入值為所有對此節點之連接線的傳入值總

和加上此節點本身所記錄的偏移值,而其輸出值

為輸入值經過轉換函式的運算結果(張,1992)。

在上述的基本原理下,有不同的類神經網路

架構,其中較為廣泛被應用者有倒傳遞網路、自

我組織映射網路、霍普菲爾網路、雙向聯想網路

等(葉 , 1993)。這些網路分別適用於不同的問題

上,而本研究中所採用者為最廣為應用的倒傳遞

類神經網路架構。此網路架構的應用主要分為訓

練與回想兩個過程,訓練過程即為決定網路內部

權重與偏移值的過程,在本研究中我們是以最陡

坡降法(the steepest gradient descent method)分

別計算輸出值與已知值間的差異,推算內部值應

變更量以使誤差函數最小化,再經過多次的運算

在可容忍的誤差值條件下,使此網路擁有一個最

佳的內部權重與偏移值(Gose 等人,1996)。至於

回想過程則為將經過訓練後的網路加以應用,於

輸入層輸入資料,依訓練後所得之內部權重與偏

移值經過正向計算,在輸出層節點上求得預測之

結果。

Lippmann (1987)在其所發表的論文中指出,

三層認知網路能夠形成任意複雜的決策區域,而

其複雜度則依隱藏層的節點數來決定。在本研究

中進行影像之分割亦採用具有一個隱藏層的三層

倒傳遞網路。至於節點數的設置,則是以影像的

RGB值為輸入層的三個節點,而輸出則為前景物

件與背景兩個節點,故在隱藏層的點數決定上,

則依 Kolmogorov (1957)所提出之規則:隱藏層的

點數當設定為其上一層點數乘二加一,可以最佳

化解決問題。在本研究中因輸入層為三點,故隱

藏層點數設置為七點,圖 1所示為本研究中應用

於影像分割的類神經網路示意圖。輸入層之輸入

節點並不一定要是影像的RGB值,而可以配合不

同之應用,以數位影像在不同色彩座標下的色彩

資訊(如 HSI 或 XYZ 色彩座標系統),或影像質地

與結構特徵為節點輸入。輸出也不一定僅為前景

物件及背景,而可以為多個不同的影像物件。

在網路的運算方式上,因為其內部每層都會

應用一個數學式作為其傳遞函數,而常用的傳遞

函式本身都有極值的限制,因此其輸入值應該限

制在 0至 1之間(或-1至 1之間),使得輸出也在相

同的範圍,故當輸入資料時必須將原本的數值先

進行正規化(normalization)的處理,而對於網路

圖 1 進行影像分割所使用的類神經網路結構示意圖,網路之輸入為影像元素之 RGB 色彩資訊,輸出為影像之前景物件與背景之分類

Fig.1 Neural network structure used for imagesegmentation, where the network inputs arethe RGB values of each pixel and the out-puts are the classification results of the fore-ground object and background

Page 6: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

66 農業機械學刊 第8卷 第3期 1999年9月

的輸出值,最後亦必須加以轉化為真實數值。可

應用於倒傳遞類神經網路為傳遞函式的數學函式

有很多種,在本研究中是選用下列之 Sigmoid 函

數為傳遞函式:

f x = 11+e x (5)

一個倒傳遞網路在被使用後,最常碰到的問

題就是如何使其收斂加快與收斂穩定。在收斂加

快上,可以用加大網路學習速率參數來達成。但

伴隨而來的問題就是會在訓練後期造成不斷的震

盪,而無法達到所要的結果。因此方法必須要加

以修正。在本研究中進行影像分割時所使用的方

法為,初期使用較大的學習速率,而學習速率隨

其訓練的次數而遞減,如此可使網路快速收斂,

且在需要極精密計算的後期因學習速率的縮小而

減少震盪,使得後期收斂穩定且快速(不需花費

震盪所需的時間),故可以使網路的收斂在整個

過程中皆為穩定與快速。同時也因使用此動態調

整學習速率,使本研究可以在實驗中不斷的學習

(已訓練後的網路,可不定時的再進行訓練),

如此不會因為一個小雜訊或一次不正確的訓練造

成整個網路原本正確的值發生大的變動。

四、試驗方法與步驟

為了比較貝氏分類法與類神經網路對於影像

分割的處理結果與限制,我們做了以下的試驗以

探討:(1)此兩種影像分割方法的極限、變因與結

果。(2)照明與背景對影像分割結果的影響。

在進行了許多前置實驗後,我們發現要立即

對照明與背景複雜之影像進行實驗並加以比較並

不恰當,主要原因為對於這兩種方法的影響變因

交互影響不利於解析。因此,我們設計了一個新

的實驗方法,先以較簡單的二維資料之分類問題

為起始點,探討與闡明有關此兩種方法的影響因

子,然後再以實際的彩色影像討論進行一般影像

分割的變因與結果。

首先,假設我們要分離的資料形式為二維,

即每個樣本有兩個基本資料(或特性),此樣本

即可視為分佈於二維平面的資料點,其基本資料

即以空間座標(x, y)代表之,因此我們可以很容易

地以平面圖形的方式來展現樣本的分類狀態。對

於所要處理的樣本資料,我們分別以貝氏分類法

及類神經網路將其分類為兩群,進行測試時,其

測試條件為:(1)貝氏分類法內部運算採用倍精準

型態,(2)類神經網路使用如前述之三層架構(一

個隱藏層),其中輸入層為 2個節點,隱藏層為

5 個節點,輸出層為 2 個節點,(3)類神經網路不

採用慣性項(momentum term),(4)傳遞函式採

用前述之(5)式,(5)測試分離的影像與訓練的影像

為相同影樣,(6)訓練樣本點為隨機抽樣。為了使

測試條件能夠盡量保持一致以利實驗結果的比

較,在此實驗中我們將訓練次數固定為 5,000次,

而學習速率固定為 0.5。在進行其他實際影像的

背景分割處理時,則仍採用學習速率隨其訓練次

數增加而遞減的法則。

在二維資料之分類試驗中,我們將樣本點依

不同的狀況繪出其空間分佈如圖 2所示,各圖中

黑色與白色分別代表兩種不同的類別,在圖形中

可以利用空間座標明確地表示各種不同測試狀況

的類別分佈情形。在圖 2中大致可以將樣本類別

的分佈歸為以下三類:(1)兩類別間界線明確且線

性可分如圖 2(A),(2)兩類別為非凸集(nonconvex

set)之關係,即非線性可分離,如圖 2(B, C, D),

(3)兩類別為相互包含之情形,如圖 2(E, F)。而實

圖 2 以貝氏分類法與類神經網路對二維資料進行分類之六種形式樣本空間分佈圖

Fig.2 Six patterns of data used for the comparisonof Bayesian and neural network classifica-tion methods

Page 7: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

67類神經網路與貝氏分類法應用於影像分割之比較研究

驗與進行分類計算之流程圖如圖 3所示。

對彩色影像的影像分割,則是以甘藍或莧菜

種苗影像為對象進行實驗。我們首先以人工的方

式進行屬於葉片區域及背景的影像分割,建立標

準影像以利於與應用貝氏分類法或類神經網路所

得之結果進行比較。對於此標準影像,我們進一

步可以將影像元素依其 RBG 座標值繪製立體圖

形以觀察屬於種苗本身與背景兩類別影像元素的

圖 3 二維資料以貝氏分類法與類神經網路進行分類之流程圖

Fig.3 Flow chart of the 2-dimensional data classification procedure using Bayesian and neural net-work classification methods

Page 8: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

68 農業機械學刊 第8卷 第3期 1999年9月

分佈狀態。圖 4左側三張影像所示為代表三種分

類分佈的甘藍種苗影像,右側則為對應之影像元

素色彩空間分佈圖,在圖中較淺色的點屬於背景

類別,較深色的點則屬於種苗本身。此三種類型

與前述二維資料實驗中(圖 2)的可線性分離、

非凸集、以及相互包含等三種資料類型是相互對

應的。

對於兩類別本身界線明確且線性的彩色影像

分割,經過觀察後我們發現絕大部分給予特別照

明且背景單純的種苗影像影屬於此類,故我們以

此種影像進行試驗,進行比較分析。而對於兩類

別界線明確,但屬非凸集的情況,我們將甘藍與

莧菜種苗混合放於任意背景且不特別給予良好的

照明條件進行取像,將種苗本身視為前景物件,

其他視為背景,進行影像分割實驗。而對於類別

相互包含的情形,我們將莧菜與甘藍的種苗混合

排列並使用複雜的背景,且僅設定前景為甘藍種

苗(不含莧菜種苗),故背景亦有類似甘藍種苗

色彩的莧菜種苗影像,同樣將資料於三度空間繪

出,經觀察此類影像應大致可以代表此一種分佈

情況。

本研究實驗中所使用的硬體部分主要包括有

彩色CCD攝影機(WAT-202B,Watec Inc., Japan)、影

像 處 理 介 面 卡(Meteor, Matrox Inc, Canada)與

Pentium II 350個人電腦。實驗中所用的貝氏分類

法與類神經網路影像分割軟體是採用物件導向之

C++語言撰寫,軟體開發環境為 Borland C++

Builder 3.0,兩種方法的影像分割程式,均是以物

件導向的觀念設計,構成 VCL 軟體元件(張,

1999)。圖 5所示為典型的種苗影像,圖 5(A)中兩

個多邊型為進行影像分割前學習過程之樣本點選

擇區域,區域的選擇在程式中是由滑鼠以多邊型

的方式圈選,區域可以進行多次選擇,圖 5(A)影

像中所示粗線之區域為種苗樣本點,細線之區域

則為背景樣本點,圖 5(B)所示則為前景種苗(淺

色點)與背景(深色點)兩類別影像元素之色彩空間

分佈,於樣本點圈選後立即顯示於電腦螢幕上,

有利於使用者判斷影像中類別分佈之狀態。

圖 4 三種類型甘藍種苗影像及其種苗前景與背景影像元素的色彩空間分佈圖。(A)可線性分離的資料類型,(B)非凸集之資料類型,(C)相互包含之資料類型

Fig.4 Typical color cabbage seedlings images andpixels distributions corresponding to threepatterns of foreground object and back-ground classification. (A) Linearly separablepattern, (B) Non-convex set pattern, (C) Mut-ually included pattern

圖 5 單純背景之甘藍種苗彩色影像與其前景及背景影像元素在 RGB色彩空間之分佈圖

Fig.5 Color image of cabbage seedlings with un-complicated background and its 3-dimen-sional distribution of seedling and back-ground pixels in RGB coordinates

Page 9: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

69類神經網路與貝氏分類法應用於影像分割之比較研究

五、結果與討論

在二維資料的分類實驗中,分類的結果如圖

6 所示。圖 6 中每列的最左側影像為原始二維資

料於平面的分佈,中間影像為使用貝氏分類法訓

練後之分類的結果、右側影像為使用倒傳遞類神

經網路進行訓練後之分類結果。由圖中可明顯的

看出貝氏分類法確有其限制存在,如圖 6(B), 6(C),

6(D), 6(F), 6(G),對於較為複雜的類別分佈(無法

以線性劃分的情況下)貝氏分類法的表現較差,

而類神經網路分離對於複雜的分佈情形下仍然是

可以大致分離出,但其分離結果亦非完全正確。

值得注意的是對於可線性分離的資料分佈,貝氏

分類法的分離結果較類神經網路來的更好,如圖

6(A), 6(E)。

由於影響類神經網路分離結果的變因包含了

網路的層數、點數、運算收斂或加速方式、取樣

的不同、取樣的多寡等,因此要找到一組最佳的

條件以進行分類並不是一件簡單的事,通常需要

在理論與原則條件下,進行多次的嘗試才能得到

Original Image

圖 6 以貝氏分類法與類神經網路對二維資料進行分類之實驗結果。(A)~(F)為資料屬於不同分佈類型的模式,(G)為(E)類型下,取樣不均勻的結果

Fig.6 Results of the 2-dimensional data classification using Bayesian and neural network me-thods. (A)~(F) are plots of different patterns as described in Fig.2 (G) is the results corre-sponding to (E) but with uneven sampling

Page 10: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

70 農業機械學刊 第8卷 第3期 1999年9月

滿意的結果,相對地,對於貝氏分類法則較少有

此方面的顧慮。此外,從兩種方法的運算方式比

較,貝氏分類法的運算結果每次只要是相同的樣

本輸入則一定有相同且唯一的結果輸出,但類神

經網路則可能每次的結果都會有所不同。

在學習過程中的取樣的問題上,取樣是否恰

當對於兩種方法都有影響,尤其對於貝氏分類法

的影響更大,很容易可以推想得知如果取樣不平

均,則貝氏分類法所賴以計算的平均值就會不正

確,如此會造成重大的誤差。例如以圖 6(E)與圖

6(G)做比較,圖 6(G)為不均勻取樣的結果(訓練

時的取樣點大多位於圖的左側),在此取樣條件

下,貝氏分類法的誤差極大,而類神經網路仍可

以收斂而得到較正確的結果,但是同樣的必須有

更多次的計算。對於圖 6(E)而言是一個很有趣的

例子,實際上類別的分佈為四群,但卻可以簡單

的兩個類別加以描述,對於貝氏分類法而言應算

是一個特例。

在蔬菜種苗彩色影像的影像分割試驗中,對

於照明良好且背景單純的影像(如圖 4(A) ),我們

分別擷取了 8張甘藍種苗影像以及 10張莧菜種苗

影像進行實驗,此類影像屬於種苗與背景兩類別

之影像元素RGB色彩空間分佈屬於線性可分割之

類型,其影像分割結果如表 1所示。使用本研究

所建立的貝氏分類法與類神經網路影像分割元

件,其分類之平均總誤差都在 1.0%以下(所有個

別測試影像的總誤差介於0.339%至1.170%之間),

兩者的影像分割效果頗為接近。

而在複雜的背景條件下,在甘藍苗與莧菜苗

混合的影像中,以兩種方法進行影像分割的典型

結果如圖 7所示,從此例中可看出類神經網路的

影像分割結果較貝氏分類法好,但兩者都有不小

的誤差。請比較圖 7(C)與 7(D)中應用此兩種方法

分離背景後影像的左上部位之不同,貝氏分類法

有數片葉片有誤判。在背景中另有其他顏色干

擾,且希望只分離出甘藍種苗的試驗中(莧菜苗

視為背景的情形下),其結果如圖 8所示,可明

顯看出類神經網路的效果較優於貝氏分類法,在

此張影像的分割實驗中,類神經網路與貝氏分類

法的影像分割誤差分別為 9.8%及 16.1%。圖 8 中

標示 1之處為另外刻意加入的黃色背景,由於背

景顏色變為複雜,兩種影像分割方法在結果影像

的右上部位有顯著差異,貝氏分類法把一大片背

景計算為前景,誤差點數過於集中,而類神經網

路的誤差點較為分散。以貝氏分類法所判斷出的

誤差點來觀察,其中有大片的連續區域皆計算錯

誤,一般而言,影像中點雜訊可以應用低通濾波

去除,但對於大片區域的分割錯誤則較難使用簡

單的影像處理方法去除,因此會對後續影像處理

造成較大的困難。圖 8 中標示 2所指有四株莧菜

種苗,其葉片雖然與其他甘藍種苗在顏色上均屬

於綠色系,但是在影像分割前的訓練階段,若是

取樣時設定其為要去除的背景,貝氏分類法與類

神經網路法兩者在此實驗中均能正確的區別。

在實際彩色影像的影像分割應用上我們另一

圖 7 複雜背景下甘藍種苗與莧菜種苗混合排列之影像與影像分割結果。(A)原始影像,(B)種苗與背景影像元素在 RGB 座標空間之分佈,(C)使用貝氏分類法分類之結果,(D)使用類神經網路分類之結果

Fig.7 Image segmentation of cabbage and ama-ranth seedlings with complex background.(A) Original image. (B) Distribution of pixelscorresponding to seedling and backgroundin RGB coordinates. (C) Result from Bayes-ian method. (D) Result from neural networkclassification

Page 11: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

71類神經網路與貝氏分類法應用於影像分割之比較研究

表 1 均勻打光單純背景下彩色種苗影像的影像分割實驗結果

Table 1 Results of image segmentation experiments for color seedling images of even lighting anduncomplicated background

Page 12: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

72 農業機械學刊 第8卷 第3期 1999年9月

個討論的課題是光線的均勻程度與背景顏色(純

色背景)對於影像分割效果的影響。貝氏分類法

的分割效果因影響因子之交互影響有很大差異,

例如在綠色的背景下,因為拉近了前景物件與背

景的色彩差異,光線的強弱及均勻與否會造成較

大的誤差,但在黑色的背景下,光線的影響則較

小。而在同樣的綠色背景下,改變照明的角度

(均勻度)對於甘藍種苗的影響較大而對於莧菜

種苗並不太會造成影響。一般而言,對於照明的

變異程度而言,類神經網路通常較為穩定,而貝

氏分類法的分割效果則有較大之變異性,可能很

好也可能誤差極大。對於這樣的問題,則應對於

特定的處理對象先進行人工分離的資料分析,由

影像元素在色彩空間的分佈觀察類別間是否會因

這些變因而拉近或交錯,應該是比較好的判斷方

式。

根據以上二維資料實驗的結果,我們可以歸

納出一些規則作為選擇類神經網路與貝氏分類法

進行影像分割的參考:

貝氏分類法在兩類別可以線性分離時,通常在

正確的照明與背景單純的條件下,其結果較類

神經網路的結果略佳。

貝氏分類法無法有效的進行非線性的分離,當

類別越複雜或越分散,類神經網路的分割效果

漸漸超越貝氏分類法。

貝氏分類法在類別複雜的現象下,其誤差不易

預測,可能的影響變因較多且相互影響,例如

一類別的中心點落在另一類別中時,貝氏分類

法的誤差可能極大也可能很小。

基於貝氏分類法的計算原理,變異越小的類別

越容易少算,如圖 6(F),黑色類別(分佈於中

心附近)計算出的個數僅有 2點,因在常態分

佈的基本假設下,變異越小則類別會被視為集

中於一小區域。

貝氏分類法分離背景的誤差對訓練樣本的取樣

有很大的敏感度,類神經網路對於樣本的敏感

度較小,只需加大訓練次數即可。

對於實際彩色影像的實驗結果,情況顯著較

為複雜、影響的變因隨不同狀態而不同,必須視

欲分離的類別分佈狀況以選擇適當的影像分割方

法,同時應考慮以下的幾個主要因子:

運算時間成本:在運算時間成本的考量方面,

應分為訓練時的花費與未知資料輸入後,計算

輸出結果的速度,以訓練的速度而言貝氏分類

法較類神經網路的訓練快,但在回想的計算上

則類神經網路遠快於貝氏分類法的計算,在

Pentium II 350電腦上對一張 512 512大小之影

像進行處理,訓練所需時間在兩種方法的運算

上大多是少於 1秒,但回想時間上貝氏分類法

為約 17秒、類神經網路約為 5秒,因此影像越

大時則以選用類神經網路為佳。

應用上的難易度:以程式設計的難易度而言,

是以類神經網路較為簡單,因為貝氏分類法內

部牽涉到高維矩陣的運算,但是就基礎理論而

言則是以貝氏分類法在數學推論上較為明確。

圖 8 任意背景下甘藍種苗與莧菜種苗混合排列之影像與僅對甘藍種苗進行影像分割之結果。(A)原始影像,(B)種苗與背景影像元素在RGB座標空間之分佈,(C)使用貝氏分類法分類之結果,(D)使用類神經網路分類之結果

Fig.8 Image segmentation of cabbage seedlingswith complex background and consideringamaranth seedling as background. (A) Orig-inal image. (B) Distribution of pixels corre-sponding to seedling and background inRGB coordinates. (C) Result from Bayesianmethod. (D) Result from neural network clas-sification

Page 13: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

73類神經網路與貝氏分類法應用於影像分割之比較研究

適用範圍:由前述的實驗可得知,在較為單純

的照明與背景條件下,貝氏分類法的影像分割

效果較類神經網路為佳,並且在訓練時不會有

不收斂的問題發生,使用上較為單純,因此對

於單純背景或是不很複雜的影像,使用貝氏分

類法的結果一般而言會較使用類神經網路為

好。但當背景是由數個類別構成時,貝氏分類

法的影像分割效果是否良好則較無法預估,取

樣的不均、類別分佈的差異都很可能使得其結

果不同,因此對於複雜的影像分割情形較保險

的選擇為使用類神經網路,但並不一定類神經

網路的結果一定優於貝氏分類法。另外一個有

關適用範圍的重要因素為,是否可以不斷地更

新並保留原先的精確度,對於此點則類神經網

路是優於貝氏分類法。

六、結論

在本研究中我們以類神經網路與貝氏分類法

建立了進行彩色影像分割的軟體元件,同時比較

了兩種方法在影像分割應用上的限制與優劣。主

要的研究結論有以下幾項:

以影像的色彩資訊為類神經網路或貝氏分類法

的輸入,經過監督式學習或訓練的過程,在後

續的回想過程可以自動地進行影像分割,達到

背景分離或前景物件自動辨識之目的。

對於應用類神經網路或貝氏分類法進行影像分

割的適用條件,本研究中提供了以二維圖示的

方法進行比較分析,使採用此兩種方法進行影

像分割之影響因子及選擇上的應有考慮得以釐

清。

在訓練過程中,各類別中取樣點是否均勻,對

於貝氏分類法的影像分割結果有較大之影響,

而類神經網路在影像分割的應用上,對於取樣

點的均勻程度則較具有強健性。

本研究中所得到的實驗結果顯示,通常貝氏分

類法較適用於正確的照明與背景單純的條件下

的影像分割,而類神經網路則較適用於背景複

雜或具有非線性分類要求之影像分割處理上。

進行影像分割前,若能對應用對象或影像的分

類資料分佈狀態能有預先的瞭解或基本之資

訊,將有助於在使用類神經網路或貝氏分類法

時有較佳的選擇。

七、參考文獻

1. 張維哲。1992。人工神經網路。台北:全欣資

訊圖書股份有限公司。

2. 張仁明。1999。自然光照下彩色種苗影像的背

景分離與特徵抽取。碩士論文。台北:國立

台灣大學農業機械工程學研究所。

3. 葉怡成。1993。類神經網路模式應用與實作。

第四版。台北:儒林圖書公司。

4. 鄭聖夫、林達德。1997。甘藍種苗之生長量測

與模式分析:(一)自動量測系統的建立。農業

機械學刊 6(4): 69-83。

5. Duda, R. O. and E. H. Peter. 1973. Pattern

Classification and Scene Analysis. 2nd ed., New

York: John Wiley & Sons.

6. Gose, E., R. Johnsonbaugh and S. Jost. 1996.

Pattern Recognition and Image Analysis. Upper

Saddle River, NJ: Prentice Hall, Inc.

7. Kolmogorov, A. N. 1957. On the representation of

continuous functions of many variables by

superposition of continuous functions of one

variable and addition. Dokl. Akad. Nauk USSR 114:

953-956.

8. Lippmann, R. P. 1987. An introduction to

computing with neural nets. IEEE ASSP

Magazine. 4: 4-22.

9. Otsu, N. 1979. A threshold selection method for

gray level histogram. IEEE Transactions on

Systems, Man and Cybernetics SMC-9 (1),

(January).

10. Panigrahi, S., M. K. Misra, C. Bern and S. Marley.

1995. Background segmentation and dimensional

measurement of corn germplasm. Transactions of

the ASAE 38(1): 291-297.

11. Pla, F., F. Juste, F. Ferri and M. Vicens. 1993.

Colour segmentation based on a light reflection

Page 14: 類神經網路與貝氏分類法應用於 影像分割之比較研究agriauto.bime.ntu.edu.tw/printed/ciam/ciam08/8-3/8-3-6.pdf · 類神經網路與貝氏分類法應用於 影像分割之比較研究

74 農業機械學刊 第8卷 第3期 1999年9月

model to locate citrus fruits for robotic harvesting.

Computer and Electronics in Agriculture 9: 53-70.

12. Shearer, S. A. and R. G. Holmes. 1990. Plant

identification using color co-occurrence matrices.

Transactions of the ASAE 33(6):2037-2044.

13. Simonton, W. and D. Graham. 1996. Bayesian and

fuzzy logic classification for plant structure

analysis. Applied Engineering in Agriculture 12

(1): 89-97.

14. Tian, L., D. C. Slaughter and R. F. Norris. 1997.

Outdoor field machine vision identification of

tomato seedlings for automated weed control.

Transactions of the ASAE 40(6): 1761-1768.

15. Timmermans, A. J. M. and A. A. Hulzebosch. 1996.

Computer vision system for on-line sorting pot

plant using an artificial neural network classifier.

Computer and Electronics of Agriculture 15:

41-55.

16.Woebbecke, D. M., G. M. Meyer, K. Von Bargen

and D. A. Mortensen. 1995. Shape features for

identifying young weeds using image analysis.

Transactions of the ASAE 38(1): 271-281.

17. Lee, W. S. and D. C. Slaughter. 1998. Plant

recognition using hardware-based neural network.

ASAE paper No. 98-3040. St. Joseph, MI: ASAE.

收稿日期:1999年12月 3日

修改日期:2000年 1月14日

接受日期:2000年 3月 8日