• Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990)Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok yoğun, parallel ve dağılmış düzende çalışan bir işlemcidir. Deneysel bilgiyi depolama ve kullanıma sunma özelliğine sahiptir.Beyni iki şekilde andırır: Sinir

Hatırlatma

Beyni iki şekilde andırır:1) Ağ, bilgiyi ortamdan öğrenme yolu ile elde eder.2) Gerekli bilgiyi depolama için basit işlemci ünitelerin

arasındaki bağlantıları kullanır.

Sinir hücresi

Sinaptikağırlıklar

1

x1x2

xm

1

w1w2

wm

wm+1

v y

Sinir HücresiMcCulloch-Pitts

Hatırlatma

∑

mx

x

x

.

.

.2

1[ ]121 .... +mm wwww=v

<−≥==

01

01)(

v

vvy ϕ

1... 12211 +++++= mmm wxwxwxwv

2

HopfieldHatırlatma

http://www.netlab.tkk.fi/julkaisut/tyot/vaitos/jian_ma/neural.html 3

Aktivasyon Fonksiyonu

http://intsys.mgt.qub.ac.uk/notes/image/activefn.gif

Hatırlatma

4

Aktivasyon FonksiyonuHatırlatma

http://www.irt.rwth-aachen.de/uploads/pics/KNNFunktionen_01.png5

Ağ YapılarıHatırlatma

http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html

İleri yol ağı-feedforward Tam bağlaşımlı ağ-reccurentÇok katmanlı Ağ-Multilayer Perceptron Hopfield Ağı

6

Ağ YapılarıHatırlatma

http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html

Hücresel AğKohonen Ağı

7

“Bilgi”’nin Gösterimi“Bilgi” İnsan veya Makina YorumlamaÖngörmeUygun yanıt verme

Depolanmış enformasyon veya model

Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böyleceNasıl anlayacağız? Nasıl gösterimi oluşturacağız?

Hatırlatma

benzer gösterimler oluşturmalı ve böyleceaynı kategoriye ait olarak sınıflanmalı,(2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı,(3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısıdaha fazla olmalı, 8

Benzerliğin bir ölçütü - Norm

. RV →V vektör uzayı olmak üzere, aşağıdaki dört özelliği sağlayan fonksiyon : normdur

0≥x

00 =⇔= xx 00 =⇔= xx

xx αα =

yxyx +≤+

9

Gösterim için bir yol

Bir T harfi

İşlem uygulayacağımıza görenasıl ifade edebiliriz?

= 1

0

1

1

1

T

0

0

1

01

0

0Bir L harfi

=

1

1

1

0

0

1

0

L

10

Öğrenme İşlemiAğın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir.

Nasıl etkilenebilir?

değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir.

11

Eğiticili Öğrenme

Ortam Eğitici

Eğitilen Sistem+

-

Eğitici ortam hakkında bilgiye sahip -bilgiye sahipEğitilen sistem ortam hakkında bilgiye sahip değilEğitilen sisteme ilişkin ....................... eğitim kümesinde içerilen bilgi ve ........ aracılığı ile değiştiriliyor Eğiticinin ortam hakkında sahip olduğu bilgi, eğitilen sistemeaktarılıyor Burada rahatsız edici bir şey var, ne?

12

davranış

Eğitilen sistem

Değer Atama

Kritik

Ödül r

δ

Eğiticisiz Öğrenme• Pekiştirmeli Öğrenme (reinforcement learning)

durum Ortam

Ödül r

Öğrenme işleminin her adımında istenilen yanıtı sağlayan bireğitici yokEğitilen sistem, sonuçta elde edilecek yanıta erişmek için gerekli davranışı eleştiriyi gözönünde tutarak bulmak bulmak zorunda 13

• Özdüzenlemeli öğrenme (self-organizing)

Ortam Eğitilen Sistem

Bilgiye sahip ya da eleştiride bulunan bir eğitici yok Eğitilen sistem girişlerin istatiksel dağılımını belirledikten sonra sınıflamayı oluşturuyor.

14

x1x2

xm

w1w2

wm

wm+1

v∑

Genlikte Ayrık Algılayıcı-GAA(Perceptron)

y

x1x2

xm

w1w2

wm

y

1wm+1

mx

x

x

.

.

.2

1[ ]121 .... +mm wwww=v

<−≥==

01

01)(

v

vvy ϕ

1... 12211 +++++= mmm wxwxwxwv

1 wm+1

15

Ancak Rosenblatt’ın 1954’de önerdiği yapı bundan farklı

Giriş Katmanı

ÇıkışKatmanıy

x1x2

w1w2

y

w1w2

)(1 xφ)(2 xφ

x1x2

yxm

1

wm

wm+1

wm

)(xmφxn

Giriş KatmanıÇıkışKatmanıBirinci Katman

Sabit ağırlıklar, sabit fonksiyonlarBağlantı ağırlıkları, eğitim kümesi ile belirlenen tek bir nöron 16

Genlikte Ayrık Algılayıcı aslında • Girişlere doğrudan bağlı tek bir nöron değil• Birinci katman değişmeyen bir yapıya sahip• Çıkış katmanı, tek bir nörondan oluşan eğitilebilir

bir yapı. Peki Rosenblatt neden birinci katmana gerek duymuş?

Birinci katmanda farklı fonksiyonları oluşturup, öğrenme ile bunlar cinsindençıkışta istenilen fonksiyonuifade etmek ifade etmek

Tanım: Doğrusal ayrıştırılabilir küme (Linearly separable set)X kümesi R tane Xi alt kümesinden oluşsun. gi ‘ler x’in doğrusalfonksiyonu olmak üzere

ji

21

,...,2,1 )()(

≠==∈∀>

,...,R,j

RiXxxgxg iji

ise Xi kümeleri doğrusal ayrıştırılabilir kümelerdir. 17

Tanımı anlamaya çalışalım... (-1,1) (1,1)

(-1,-1) (1,-1)

{ }{ })1,1(),1,1(

)1,1(),1,1(

2

1

−=

−−−=

X

XR=?

121111 : cxbxag ++

g’leri yazalım

222122

121111

:

:

cxbxag

cxbxag

++

++

Bu iki kümenin doğrusal ayrıştırılabilir olduğunu göstermek için ne yapmalıyız?

222111

222111

cbacba

cbacba

+−−>+−−

++−>++−ve

222111

222111

cbacba

cbacba

+−<+−

++<++

sağlayan a,b ve c’ler bulunmalıbir çözüm: ,0,0,5.0

,0,0,5.0

222

111

===

==−=

cba

cba

18

∗∗∗•

∗∗••

∗•••

••••

•∗

∗•

••••

•∗∗•

•∗∗•

••••

Özellikle, örüntüleri farklı sınıflara ayıran düzlem olarak kullanılıyor.Tanım: Karar Düzlemi (Decision Surface)Kümeleri ayıran düzlem.

ayıran düzlem olarak kullanılıyor.

Tek bir nöron ile neler yapılabilir? Nöron sayısını artırarak ne yapılabilir ne yapılamaz?

19

Rosenblatt’ın Genlikte Ayrık Algılayıcısında neler oluyor? nRx∈

Girişler

n-boyutlu bir vektörbir örüntüyütemsil ediyor(pattern)

Örüntü uzayı(pattern space)

(.)jφKatman1’in çıkışı

mjxy jj ,...,2,1 )(ˆ ==φNe oldu?

mRy∈ˆ

[ ])(ˆ xy φ=

mn RR →:(.)φ

)(xφx1 [ ])(...)()( 21 xxx mφφφ=

y

w1w2

wm

)(1 xφ)(2 xφ

)(xmφ

x1

x2

xn

20

Rosenblatt’ın Genlikte Ayrık Algılayıcısında neler oluyor? nRx∈

Girişler

n-boyutlu bir vektörbir örüntüyütemsil ediyor(pattern)

Örüntü uzayı(pattern space)

(.)jφKatman1’in çıkışı

mjxy jj ,...,2,1 )(ˆ ==φNe oldu?

mRy∈ˆ

mn RR →:(.)φBu dönüşüm genelolarak doğrusal değil

Genlikte Ayrık Algılayıcı için karar düzlemi: ∑=

+ =+m

imii wyw

11 0ˆ

Genlikte Ayrık Algılayıcı ancak katman 1’in görüntü uzayındaki örüntüleri.................................................ise iki sınıfa ayırır. 0ˆ: 0ˆ:

112

111 <+>+ ∑∑

=+

=+

m

imii

m

imii wywSwywS

??????

21

Soru: Katman 1’de m işlem birimine sahip bir GAA, katman 1 görüntü uzayınındaki P tane örüntüyü 2 sınıfa kaç türlü ayırabilir? Yanıt:

+>

− +≤= ∑

=

11

2

12),(

0

mPi

PmP

mPL m

i

P

Burada işi ne?

Hatırlatma:)!(!

!

lkl

k

l

k

−=

Soru: Herhangi bir doğrusal karar düzleminin GAA ile hesaplanabilme olasılığı nedir?hesaplanabilme olasılığı nedir?Yanıt:

+>

− +≤== ∑

=

− 11

2

11

2

),(ˆ

0

1, mPi

PmP

mPLP

m

i

PPmP

2

1ˆ),1(2 =+ mmP

1ˆlim ),1)(2( =+−∞→

mmm

P ε

0ˆlim ),1)(2( =++∞→

mmm

P ε

m büyük bir sayı ise 2(m+1)’dendaha az sayıdaki örüntüyü doğru şekilde sınıflayabilir. 0 < P <2(m+1) 22

Katman 1 örüntüleri doğrusal ayrıştırılabilecekleri görüntü uzayına taşır. Doğrusal ayrıştırılamayan örüntüleri doğrusal ayrıştırılabilir kılmak iki türlü olasıdır: (i) m (ii) P

XOR Genlikte Ayrık Algılayıcı ile ifade etmek: P=4, n=2 İki girişli, tek nöronun kapasitesi: 2*3=6

(0,1) (1,1)

İki girişli, tek nöronun kapasitesi: 2*3=6 Kapasite açısından uygun ama doğrusal ayrıştırılabilir değiller

]1)1)(1( ))1(( ))1([(),( 21122121 +−−−−−−−= xxxxxxxxφ m mi P mi değişti? (0,0) (1,0)

(0,1,1) (0,0,1)

(0,0,0) (1,0,1)

(0,1,1)

(1,0,1)(0,0,1)

(0,0,0)

23

] )5.0( )5.0[(),( 12121221 −−−−= xxxxxxxxφ m mi P mi değişti?

Şimdi Genlikte Ayrık Algılayıcı ile biraz iş yapalımVerilenler: Eğitim Kümesi ( ){ }Pkk yx ,

x1x2

w1w2 Verilenler: Eğitim Kümesi ( ){ }k

kd

k yx1

,=

Amaç: İki sınıfa ayırmaky

xm

1

wm

wm+10: 0:

112

111 ≤+>+ ∑∑

=+

=+

n

inii

n

inii wxwSwxwS

Gerçeklemebilme Koşulu: Eğitim kümesi doğrusal ayrıştırılabilir Eğitim kümesi doğrusal ayrıştırılabilir ise:

1

x

24

Eğitim kümesi doğrusal ayrıştırılabilir değil ise:

1

)(xφ

Öğrenme Kuralı:

cxkwkwxwSx

kwkwxwSx

kwkwxwSx

+=+≤∈

=+≤∈

=+>∈

)()1( 0

)()1( 0

)()1( 0

T

T2

T1 öğrenme hızı <1

olan pozitif bir sayı

cxkwkwxwSx

cxkwkwxwSx

−=+>∈

+=+≤∈

)()1( 0

)()1( 0 T

2

T1

idi xyycw ][2

1 −=∆

xyycw d ][2

1 −=∆25