Doğrusal Olmayan Sonsuz Darbe Cevaplı Adaptif Filtre Tasarımı Design of a Nonlinear Adaptive Infinite Impulse Response Filter

Nurettin Acır Niğde Üniversitesi, Elektrik - Elektronik Mühendisliği Bölümü, 51245, Niğde, Türkiye

nacir@nigde.edu.tr

Özetçe Bu çalışmada, Lyapunov anlamında kararlılığı sağlayan Dalgacık Ağı (DA) tabanlı adaptif sonsuz darbe cevaplı bir filtre tasarımı gerçekleştirilmiştir. Sunulan sistem zaman-frekans bilgilerini dinamiği içerisinde taşımaktadır. İki temel örnek uygulama olarak sunulmuştur. Alınan sonuçlar, önerilen sistemin sadece geleneksel gradyan azalan algoritmalardan daha iyi çalıştığını göstermemekte, aynı zamanda en az diğer en iyileme tekniklerine dayalı algoritmalar kadar iyi başarımlar sağlamaktadır.

Abstract This study introduces a wavelet network based adaptive IIR filtering system satisfying asymptotic stability in the sense of Lyapunov. The proposed system is also integrated with the advantages of the time-frequency specific properties of wavelet networks in its dynamics. Two well known experiments are proposed. The results are verified that the proposed filtering system not only performs better than conventional gradient descent based algorithms but also performs as good as other stability theory based optimization algorithms.

1. Giriş Adaptif filtreler, uyarlanabilme yeteneği nedeniyle çeşitli mühendislik uygulamalarında oldukça yaygın olarak kullanılmaktadır. Bu filtre tiplerinden en yaygın olanları En Küçük Kareler (EKK) ve Özyinelemeli En Küçük kareler (ÖEKK) algoritmaları olsalar da, bu doğrusal filtreler, doğrusal olmayan bir çok gerçek dünya probleminin çözümünde zayıf kalmaktadır [1, 2]. Aynı zamanda, anılan bu algoritmalar sistem girişi istatistiki değerlerine yüksek dereceden bağımlı olmakta ve dolayısıyla sistemin yakınsama dinamiğini doğrudan sistem girişi ile bağımlı bir hale getirmektedir. Bu da sistemi kısıtlayan bir parametre olarak karşımıza çıkmaktadır [2]. Bu nedenle, optimal çözüm üretebilen, doğrusal olmayan adaptif filtre tekniklerine ihtiyaç duyulmaktadır. Son yıllarda, doğrusal olmayan dinamik yapısı ve paralel dağılımlı işlem yapabilme kabiliyetinden dolayı Yapay Sinir Ağı (YSA) tabanlı adaptif algoritmalar gürbüz doğrusal olmayan filtre tasarımı problemlerinde kuvvetli birer alet olarak kullanılmaktadır. Ancak, bu YSA tiplerinden bir kısmında yerel minimum problemi en temel sıkıntı olmakla birlikte, bazı algoritmalar da probleme özel iyi sonuçlar üreten algoritmalardır. Diğer yandan son zamanlarda, probleme uygun taban fonksiyonu tanımlayabildiğimiz ve aynı zamanda zaman ve frekans bilgisini birlikte taşıyan Dalgacık Ağı (DA) tipi YSA algoritmaları da sistem tanıma, fonksiyon yaklaşımı, ve doğrusal olmayan sistem dinamiklerin analizinde etkin olarak kullanılmaktadır [3-6]. Bu sebeple bu çalışmada

anılan DA tipi YSA algoritmasının avantajları doğrusal olmayan Sonsuz Darbe Cevaplı (IIR) filtre tasarımında kullanılmıştır. Bu çalışmada [2] nolu çalışmada sunulan Lyapunuv anlamındaki karalılık DA tipi YSA algoritmasına uyarlanarak ve DA tipi YSA nın avantajları ile [2]’de sunulan radyal taban fonksiyonu YSA algoritması için tanımlanan Laypunov anlamındaki karalılığı garanti eden algoritma entegre edilerek yeni bir filtre tasarım yöntemi önerilmektedir. Bu bildiri, daha önce gerçekleştirdiğimiz bir çalışmanın [7] mühendislik pratiğine katkı sağlayacağı düşüncesiyle kısaltılarak burada sunulmaktadır. Sonuç olarak, önerilen algoritma hata dinamiğini sıfıra götürerek beklenen sinyale asimtotik olarak yakınsamakta ve Lyapunov anlamında karalılık tanımını doğrulamaktadır.

2. Dalgacık Ağları DA tipi YSA algoritması modellenecek sistemden alınan { }K

kkk y,x 1= giriş-çıkış çiftleri vektörlerini kullanarak

gerçekleştirilen algoritmalardır. Bu sistem modeli basit anlamda Denklem (1) teki şekilde sunulabilir.

ℜ→ℜ⋅ n:)(f ve kkk v)x(fy += (1)

Burada kv ölçüm gürültüsünü temsil eder. Devamında problem, gerçek sistem çıkışı ile DA tipi YSA çıkışı arasındaki ortalama kare hatayı minimize eden bir en iyileme problemine dönüştürülerek çözüme götürülür [1, 6].

{ }2

21 ))x(fy(EMSE −=

∆, (2)

Burada E istatistiki anlamda beklenen değeri temsil eder. DA tipi YSA çıkışının genelleştirilmiş ifadesi,

ℜ→ℜ⋅ n:)(f , Denklem (3) teki şekilde sunulabilir [4];

∑=

+−=N

iiini w))bx(D(w)x(f

10ψ (3)

Burada N n -boyutlu DA hücrelerinin sayısını, iw ’ler dalgacık katsayılarını (ağırlık vektörü),

)d,,d,d(diagD niiii …21= dik kayma (dilation) matrisini

temsil etmektedir. Bir başka şekliyle )a/,,a/,a/(diagD n

iiii 111 21 …= olarak yazılabilir ve

burada ia kayma (dilation) katsayısını, ℜ→ℜ⋅ nn :)(ψ

ise ana dalgacık fonksiyonunu, nib ℜ∈ geçiş katsayısı

(translation coefficient) vektörünü ve 0w ise sonlu uzayda ortalaması sıfır olmayan fonksiyonlara yaklaşmak için

tanımlanmış bias (sabit) terimidir (DA tipi YSA hakkında daha fazla bilgi için [3]’e bakılabilir). DA tipi YSA’larda, öğrenme algoritmaları genelde stokastik gradyan işlemlerdir. Bu işlemlerde giriş sinyalinin stokastik özellikleri bu tip algoritmalarda optimizasyon işlemini doğrudan etkilemekte ve sisteme ek bir yük olarak eklenmektedir [2]. Biz ise bu çalışmada Lyapunov Kararlılık Teorisi (LKT) tabanlı bir algoritma kullanarak bu bağımlılığı devre dışı bıraktık. Yani sunulan algoritma, giriş stokastik özelliklerinden bağımsız çalışmaktadır. Bu bir sonraki bölümde sunulan filtre sisteminin analizinde görülebilir.

3. LKT tabanlı Adaptif Filtre Dinamiğinin Cebrik Temsili

Bu bölümde, önerilen adaptif filtre formülasyonu doğrusal sistem teorisi temelli olarak cebrik formda sunulmuştur. Öncelikle Sonlu Darbe Cevaplı (FIR) filtre sistemi formüle edilip daha sonra IIR sisteme doğrusallaştırılarak dönüştürülecektir.

Şekil 1: IIR sisteme denk düşen sistem tanıma

konfigürasyonunun blok diyagramı Şekil 1 sistem tanıma problemine denk düşen sade bir adaptif filtre yapısını blok diyagram şeklinde göstermektedir. Burada, )k(s giriş sinyalini, )k(y sistem çıkışını ve )k(d sistemin beklenen cevabını temsil etmektedir. Şekil 1’i takip edersek, hata fonksiyonu )k(e Denklem (4)’deki şekilde yazılabilir.

)k(y)k(d)k(e −= (4)

Bir adaptif filtre algoritması, ilgili filtre katsayılarının güncellenmesine dayalı olduğundan, adaptif filtre işlemi

)k(e maliyet fonksiyonunun minimizasyonu olan bir en iyileme problemi olarak sunulabilir. Bir FIR sistemi cebrik olarak yazarsak;

)k(S)k(W)k(y T= (5)

burada T

kkk )]N(w,),(w),(w[)k(W 110 −= … , ve T)]Nk(s,),k(s),k(s[)k(S 11 +−−= …

şeklindedir. Bu çalışmada önerilen LKT tabanlı adaptif FIR filtre algoritması aşağıda sunulan teorem kullanılarak gerçekleştirilmiştir.

Teorem 1 [2, 8]: Verilen { }Kkkk d,s 1=

giriş ve beklenen değer çiftleri ile )k(W ağırlık vektörü Denklem (6) da verilen güncelleme kuralı ile güncellenerek )k(S)k(W)k(y T= çıkışı üretilebilir.

)k()k(g)k(W)k(W α+−= 1 (6)

))k(

)k(e(

)k(S)k(S)k(g

ακ

112

−−= (7)

burada )k(g adaptasyon kazancı, )k(α ise denklem (8) de tanımlanan ön kestirim hatasıdır.

)k(S)k(W)k(d)k( T 1−−=α (8)

ve 10 <≤ κ . Sonuçta, hata fonksiyonu )k(e sıfıra asimtotik olarak yakınsar.

Bu teoremde denklem (7) 0≠)k(S ve 0≠)k(α kısıtları altında çalışmalıdır. Tekilliğe sebep olan bu kısıtlardan kurtulmak için Denklem (7), mümkün olduğunca küçük 1λ ve 2λ ara değişkenleri ile Denklem (9) de olduğu gibi yeniden yazılır [2].

))k(

)k(e(

)k(S)k(S)k(g

αλκ

λ +−

−+

=2

21

11 (9)

Bölüm 5’te yaptığımız deneysel çalışmalarda da gerçekten mümkün olduğunca küçük 1λ ve 2λ ara değişkenleri ile istenen sonuçlar alınmaktadır. 4. Önerilen DA Tabanlı IIR Filtre Sisteminin

Gerçeklenmesi

Şekil 2: DA tabanlı doğrusal olmayan IIR filtre sisteminin blok diyagramı Önerilen bu çalışmanın en temel avantajı DA’nın bazı doğrusal işlem özellikleri ile birlikte işaret özniteliklerinin

zaman-frekans bilgilerinin önerilen doğrusal olmayan filtre sistemi dinamiği içerisinde gömülü olmasıdır. Buna ek olarak DA tipi YSA’nın paralel dağılımlı işlem yeteneği neticesinde gürbüz bir sistem önerildiği söylenebilir. Şekil 2 önerilen DA tabanlı IIR filtre sisteminin blok diyagramını göstermektedir. Şekil 2’den temsili yapıyı adım adım takip ederek, DA tabanlı IIR filtresinin genelleştirilmiş formülasyonunu çıkarabiliriz. Buradan filtre çıkışı )k(y denklem (10)’daki şekilde Denklem (16)’da dikkate alınarak elde edilebilir.

∑ ∑= =

+++=N

i

M

jjNjNii )k()k(w)k()k(w)k(y

1 1φφ (10)

burada,

))b)k(s(D()k( iii −=ψφ , N,,,i …21= . (11)

Aynı )k(y çıkışını cebrik formda yazacak olur isek;

)k()k()k(y T Φ= θ (12)

burada T

MNNN )]k(w,),k(w),k(w,),k(w),k(w),k(w[)k( ++= …… 1210θ

TMNNN )]k(,),k(),k(,),k(),k(,[)k( ++=Φ φφφφφ …… 1211

Şeklinde olacaktır.

)k(θ ve )k(Φ vektörü içerisine hesaplama kolaylığı

sağlamak için 0w bias terimi ve 1 birim sabit çarpanı sırasıyla yerleştirilmiştir. Bu ekleme DA’da bias terimini hesaplamak için ayrı bir işlem gereksinimini ortadan kaldırmaktadır. Algoritmada her bir iterasyonda ağ parametreleri aşağıdaki güncelleme kurallarına bağlı olarak belirlenebilir.

• )k()k(g)k()k( αθθ +−= 1 • )k()k()k(d)k( T Φ−−= 1θα

• ))k(

)k(e(

)k()k()k(g

αλκ

λ +−

−Φ+

Φ=2

21

11

Bu çalışmada önerilen sistemin kararlılığı Lyapunov anlamında ölçülmüş olup, temel nokta durum uzayında tanımlanmış )k(e)k(V 2= şeklinde bir Lyapunov fonksiyonudur. Lyapunov fonksiyonu ve Lyapunov anlamındaki kararlılık ile ilgili detaylı bilgi literatürde geniş ve net olarak yer almaktadır [9]. Tanımlanan LKT temelli algoritma ile küresel tek çözüme gidilebilmektedir. Bahsedilen bu faydaların yanında önerilen DA tabanlı filtre sisteminin çok yüksek boyutlu durumlarda performans kaybına uğradığı gözlenmiştir. DA algoritmalarının çok yüksek boyuttaki bu eksikliği hala yoğun çalışılan açık bir problemdir [3, 4]. 5. Deneyler Deneysel çalışmada, literatürde çok yaygın kullanılan iki temel örnek çözülerek burada sunulmuştur [10-11]. Benzetim çalışmalarında, dalgacık katsayıları ( iw ) ve bias

terimi ( 0w ) DA ya göre bu çalışmada yenilenen güncelleme

kurallarına göre hesaplanmıştır. Önerilen algoritma Matlab 7.0 da kodlanarak 1.83 GHz PC bilgisayarda çalıştırılmıştır. Örnek 1: Burada önerilen algoritma sıkça kullanılan bir test örneğine uygulanmıştır [10]. Sistem fonksiyonu )z(H S

ve

filtre transfer fonksiyonu )z(H F aşağıdaki gibidir.

21

1

250131411400050

−−

−

+−−=

z.z.z..)z(H S

ve

11

0

1 −−=

zba

)z(H F

Ortalama kare hatası ölçümünde, sistemin girişine birim varyanslı gürültüsüz beyaz dizi uygulanmıştır. Küresel minimum T

g ]..[w 910310−= civarında elde edilmiş olup MSE 0002670. , ve bir yerel minimum da

Tl ]..[w 520110 −= civarında gözlenmiştir. Filtre

parametrelerinin beklendiği gibi lw ’den başlandığında gw de sonlandığı gözlenmiştir. Sonuç olarak önerilen LKT tabanlı algoritma 20.=κ için küresel minimuma yakınsamaktadır. Ayrıca, bir çok deneme sonucunda en iyi çözümün mümkün olduğunca küçük (sıfıra çok yakın ama sıfır olmayan) 1λ ve 2λ değerlerinde elde edilmiştir. Örnek 2: İkinci örnek olarak literatürde sıkça kullanılan üçüncü dereceden bir sistem ele alınmıştır [11]. Sistem ve filtre fonksiyonları sırasıyla;

321

21

1050211504030

−−−

−−

−+−−+−=

z.z.z.z.z..)z(H S

ve

22

11

110

1 −−

−

+++

=zbzb

zaa)z(H F

şeklindedir. Sistem girişi bir önceki örnekteki gibi beyaz dizi olup

]..[ 5050− arasında değerler alan 30dB SNR değerindedir [11]. Kullanılan veri vektörünün uzunluğu 2000=N dir. Önerilen algoritma küresel minimuma 10101422 −x. ’da ulaşmaktadır (Şekil 3). Bu ortalama kare hata oldukça küçüktür ve önerilen algoritmanın izleme yeteneğinin oldukça yüksek olduğunu göstermektedir. Bu örnekte de bir önceki örnekte olduğu gibi κ değeri 20. olarak seçilmiş ve en iyi sonuç yine tekilliği önleyecek şekilde mümkün olduğunca küçük 1λ ve 2λ değerleri ile elde edilmiştir.

Şekil 3: DA tabanlı IIR sistemin kare hata eğrisi, )k(e 2 .

6. Sonuç

Bu çalışmada, DA tabanlı yeni bir IIR filtre tasarımı sunulmuştur. Filtre katsayıları LKT tabanlı algoritma ile adaptif olarak hesaplanabilmekte ve hata asimtotik olarak sıfıra yakınsamaktadır. Önerilen sistemin kararlılığı Lyapunov anlamında garanti edilmektedir. Deneyler, son derece küçük, kabul edilebilir hatalar ile bu bahsedilen özellikleri doğrulamaktadır. Bütün bu avantajların yanında DA algoritmalarında genel bir problem olan çok yüksek boyutlu problemlerdeki performans kaybı burada da dikkate alınması gereken açık bir problem olarak yer almaktadır. Sunulan fitre yapısının pratik mühendislik anlamında da değeri oldukça yüksektir. Çünkü doğrusal olmayan sistemler veya durağan olmayan işaretler gibi gerçek dünya problemlerine uygulanabilir nitelikte bir algoritma önerilmektedir.

7. Teşekkür Bu çalışma, TÜBİTAK tarafından TÜBİTAK-Kariyer-105E084 nolu proje kapsamında desteklenmektedir.

8. Kaynakça [1] Haykin S., Adaptive filter theory. Prentice Hall, NJ,

1996. [2] Seng K.P., Man Z., Wu H.R., “Lyapunov theory based

radial basis function networks for adaptive filtering,” IEEE Trans. Circuit and Systems-I 49(8): 1215-1220, 2002..

[3] Zhang Q., Benveniste A., “Wavelet Networks,” IEEE Trans. Neural Networks. 3(6): 889-898, 1992.

[4] Zhang Q., “Using wavelet networks in nonparametric estimation,” IEEE Trans. Neural Networks 8(2): 227-236, 1997.

[5] Stephen A.B., Wei H.L., “A new class of wavelet networks for nonlinear system identification,” IEEE Trans. Neural Networks 16(4): 862-874, 2005.

[6] Özkurt N., Savacı F.A., “The implementation of nonlinear dynamical systems with wavelet network,” AEU Int. Journal of Electronics and Communications 5: 338-344, 2006.

[7] Acır N., “A Modified Adaptive IIR Filter Design via Wavelet Networks based on Lyapunov Stability Theory” Neural Computing & Applications, (in review), 2007.

[8] ZhiHong M., Wu H.R., Lai W., Nguyen T., “Design of adaptive filters using Lyapunov stability theory,” Proc. IEEE Int. Workshop Intelligent signal processing and Commun. Systems 1: 304-308, 1998.

[9] Khalil H.K., Nonlinear systems. Macmillan, NY, 1992. [10] Karaboga N., Kalinli A., Karaboga D., “Designing

digital IIR filters using ant colony optimisation algorithm,” Eng. Applications of Artificial Intelligence 17: 301-309, 2004.

[11] Chen S., Luk B.L., Adaptive simulated annealing for optimization in signal processing applications. Signal Processing, 79: 117-128, 1999.