UZAKTAN ALGILAMA GORUNTULERINDEERISIM ICIN UZAMSAL BIR VERI MODELI

A SPATIAL DATA MODEL FOR REMOTESENSING IMAGE RETRIEVAL

H. Gokhan Akcay, Selim AksoyBilgisayar Muhendisligi Bolumu, Bilkent Universitesi, Bilkent, 06800, Ankara

{akcay,saksoy}@cs.bilkent.edu.tr

Ozetce —Bu bildiride, verilen bir sorgu bolgesi icin,goruntunun diger alanlarında veya baska goruntulerde benzeruzamsal yerlesim ve karakteristiklerde bolgelerin bulunmasıve erisimi icin bir yontem sunmaktayız. Bolgeleri olasılıksaldegiskenler olarak temsil ederek ve uzamsal olarak birbirineyakın dugumleri birbirine baglayarak bir Markov rasgele alanıolusturulmaktadır. Daha sonra, sorgu bolge grubunun bir mak-simum entropi dagılımı gosterdigi kabul edilmekte ve hedefgoruntudeki benzer bolge gruplarına olasılık degerlerine goreerisim yapılmaktadır. WorldView-2 verileri kullanılarak yapılandeneyler, bilesik yapıların istatistiksel modellenmesinin yuksek se-viyede ve buyuk olcekli erisim uygulamalarına olanak sagladıgınıgostermektedir.

Anahtar Kelimeler—Goruntu erisimi, Markov rasgele alanı,uzamsal yerlesimler.

Ozet—Given a query region, our aim is to discover and retri-eve regions with similar spatial arrangement and characteristicsin other areas of the same large image or in other images. AMarkov random field is constructed by representing regions asvariables and connecting the vertices that are spatially close byedges. Then, a maximum entropy distribution is assumed overthe query region process and retrieval of the similar regionprocesses on the target image is achieved according to theirprobability. Experiments using WorldView-2 images show thatstatistical modelling of compound structures enable high-leveland large-scale retrieval applications.

Keywords—Image retrieval, Markov random field, spatial ar-rangements.

I. GIRIS

Uydulardan dunyaya ulasan verinin her gecen gun artmasıve islenmemis verinin bilgiye donusturulmesindeki aciliyet, bugoruntulerin otomatik ya da yarı otomatik analizini zorunlukılmaktadır. Aynı zamanda bu goruntulerde uzamsal detaylarınartması ile otomatik analiz icin yeni gelismis algoritmalaragereksinim duyulmaktadır.

Literaturde icerik tabanlı erisim yontemleri buyukcogunlukla goruntunun tamamını ya da klasik bolutlemesonucunda elde edilmis turdes tek bir bolgesini kullanmaktadır.Bilgisayarla gorme literaturunde bu konularda yayımlanmısbircok makale ve bildiri bulunmaktadır. Uzaktan algılamaliteraturunde ise erisim problemi konusundaki calısmalardaha yenidir. Bunula birlikte, nesne tanıma uzaktan algılama

goruntulerinin analizinde onemli bir problemdir. Bilgisayargorusu literaturundeki cogu populer algoritma goruntulerdemakul sayıda turdes nesne bulundugunu farzetmektedir.Fakat bu varsayım, cok sayıda kendi icinde heterojen yapılarbarındıran yuksek cozunurluklu uzaktan algılama goruntuleriicin gecerli olmamaktadır. Bina, yol ve agac gibi temelnesnelerin uzamsal yerlesimlerinden olusan farklı turlerdekiyerlesim alanları, tarım alanları, ticari ve endustriyel alanlarbilesik yapılar olarak da adlandırılan bu yapılara ornek olarakverilebilir. Bununla birlikte, bu yapıların modellenmesi zorbir problemdir cunku cok yuksek uzamsal cozunurluktekiyeni nesil goruntulerde gorunumleri daha da fazla karmasıkhale gelmistir. Bu sebeple, yakın zamana kadar sadececekim zamanı ve kordinat gibi yardımcı veriler ile yapılanerisimin icerik tabanlı yapılabilmesi icin yeni yaklasımlargerekmektedir.

Farklı nesneler farklı olceklerde ortaya cıktıgı icin bilesikyapıların bulunması icin bir cozum olarak sıraduzenselbolutleme buyuk ilgi gormustur. Burada onemli bir prob-lem, sıraduzenin nasıl olusturulacagının belirlenmesidir. Genelbir yaklasım, spektral turdeslige dayanarak bolme ve/veyabirlestirme yapmaktır. Fakat bu yaklasım, ozu itibariyle he-terojen olan ve farklı spektral karakteristiklerde elemanlarasahip karmasık yapılar icin iyi calısmamaktadır. Bunun gibikısıtlamalardan dolayı, ilgi duyulan bircok yapı sıraduzende or-taya cıkmamaktadır. Bir alternatif olarak, Gaetano ve digerleri[1] beraber sık gorulen birbirine komsu bolgelerin guclu birsekilde iliskili oldugunu varsayarak sıraduzensel doku bolutle-mesi gerceklestirmislerdir. Guclu sekilde iliskili bolgeleri bul-mak amacıyla, nicemlenmis bolge ciftlerinin frekanslarını he-saplamak icin goruntu piksellerini obeklemislerdir. Zamalievave digerleri [2] frekans tabanlı ama surekli bir oznitelikkumesinde benzer bir yaklasım kullanmıslardır. Bu calısmadabolge esolusumlarının oznitelikleri kullanılarak tahmin edi-len olasılık dagılımının dorukları bir cizgenin ayrıtlarınıolusturmak icin kullanılmıs ve bir cizge madenciligi algo-ritması ile bilesik nesnelere karsılık gelebilecek altcizgelerbulunmustur. Fakat frekans tabanlı bu yaklasımlar, bilesiknesnelerin karmasık karakteristiklerini modellemek icin ge-nellikle yeterli olmamaktadır. Dogrusoz ve Aksoy da [3]kentsel yapıların duzenliligini modellemek amacıyla benzeruzamsal yerlesimdeki binaları gruplayan cizge tabanlı bir mo-del kullanmıslardır. [4]’te bilesik nesnelerin bulunması icin,

Sekil 1. Ankara goruntusunde bina, agac, golge gibi ornek temel nesne grubukatmanları.

temel nesnelerin spektral, sekil ve konum bilgisi ile model-lenen istatistiksel karakteristikler ile birbirine komsu nesnegruplarının uzamsal olarak hizalılıkları kullanılarak kodlananyapısal karakteristikleri birlestiren bir yontem sunduk.

Bu calısmada, nesne gruplarının modellenmesi ve bu grup-lara erisim ile ilgili olarak, bina gibi temel nesne grup-larının (II. bolum) uzamsal yerlesimlerini olasılıksal olarakmodellemekteyiz. Sezilen temel nesneler rasgele degiskenlerolarak dusunulmekte, ve aynı turden temel nesnelerin bircizgedeki ayrıtları olusturdugu ve potansiyel olarak birbiriyleilgili nesnelerin de bu cizgede ayrıtlarla birlestigi bir Markovrasgele alanı (MRA) olusturulmaktadır. Daha sonra, MRA’sıolusturulan bir temel nesne grubu maksimum entropi dagılımıile modellenmektedir (III. bolum). Son olarak, verilen bir sorguornegi icin ogrenilen model kullanılarak goruntunun digeralanlarındaki benzer bolge gruplarına erisim yapılmaktadır(IV. bolum). Onerilen model bir WorldView-2 goruntusu kul-lanılarak orneklendirilmistir (V. bolum).

II. TEMEL NESNELERIN SEZIMI

Bu calısmada, bir bilesik nesnenin farklı temel nesnekatmanlarından olustugunu varsaymaktayız (Sekil 1). Te-mel nesne kumesi goruntu bolutlemenin yanında spektral,dokusal ve bicimbilimsel bilgiyi kullanan dusuk seviyedeislemlerle goreceli olarak kolay ortaya cıkarılabilen nesneleriicermektedir. Bina, yol, agac gibi bu nesneler daha karmasıkbilesik nesnelerin yapıtasları olarak kullanılabilir. Odak nok-tamız bilesik yapıların bulunması oldugu icin, bu ilk islem bucalısmada olabildigince basit tutulmaktadır.

V. bolumdeki kavramı acıklayıcı deneyler bilesik nesne-leri olusturmak icin bina gruplarını kullanmaktadır. Binalarspektral bantlarda esikleme ve bicimbilimsel acma/kapamaislemleri ile sezilmektedir. Sekil 2’de 500 × 500 piksel-lik cokluspektral WorldView-2 Ankara goruntusunde ornekbina sezimi sonucları gosterilmektedir. Goruntudeki cogubina benzer renklere sahip oldugundan, kırmızı banda goreesikleme analizin geri kalan kısmı icin kabul edilebilir sonuclarvermistir. Bu ilk islemde sezimdeki herhangi bir iyilesmegenel sureci de iyilestirecektir. Algoritmanın geri kalan kısmıfarklı temel nesnelerin farklı uygulamalar icin bu kumeyeeklenmesine olanak saglamaktadır.

III. UZAMSAL VERI MODELI

Sahneler arasindaki oruntulerin cok farklılık gostermesive her bir sahnedeki detayların zenginligi, istatistiksel

(a) Ankara goruntusu (b) Sezilen binalar

Sekil 2. Ankara goruntusunde bina sezimi ornekleri. Sezilen binalar (b)’dekırmızı ile one cıkarılmıstır.

yaklasımları zorunlu kılmaktadır. Onerilen yaklasım III-A. veIII-B. bolumlerde ayrıntılı olarak acıklanmaktadır.

A. Maksimum entropi dagılımı

n tane bagımsız ve ozdes dagılımlı (i.i.d.) X1, ..., Xn

gozlemi verildiginde, belirli fonksiyonların deneysel beklen-tilerini

µα =1

n

n∑i=1

φα(Xi),∀α ∈ I. (1)

seklinde hesapladıgımızı varsayalım. Burada bir I kumesineait her bir α, bir φα : X → < fonksiyonunu indisler. Iboyutlu deneysel beklentiler vektorune, µ = µα,∀α ∈ I, baglıolarak amacımız, X rasgele degiskeni uzerinde tam bir olasılıkdagılımı cıkarmaktır.

Verilen bir p dagılımı icin, eger Ep[φα(X)] = µα ise,p dagılımı veri ile uyumludur deriz. Burada Ep[φα(X)] =∫X φα(x)p(x)dx,∀α ∈ I, p dagılımı icin beklenti fonksiyo-

nudur. Baska bir deyisle, p dagılımı altında Ep[φα(X)] bek-lentileri deneysel dagılım altındaki beklentilere uyum goster-mektedir deriz.

Burada, gozlemlerle uyumlu bircok p dagılımı arasındansecim yapmak icin maksimum entropi prensibini kullanmak-tayız. Bu amacla oncelikle Shannon entropisi olarak bilinenp’ye ait bir islevsel tanımlayalım:

H(p) = −∫X(log p(x))p(x)dx. (2)

Buna gore, maksimum entropi prensibi, X rasgele degiskeniuzerinde tanımlanan veri ile uyumlu P dagılımları arasındanShannon entropisi en yuksek olan p∗ dagılımını secmektedir:

p∗ = argmaxp∈P

H(p)

Kısıt kumesi Ep[φα(X)] = µα,∀α ∈ I.(3)

Bu prensibin kullanılmasındaki amaclardan biri, en yuksekbelirsizlige sahip dagılımı secerken aynı anda elimizdeki veriyesadık kalmaktır. Surekli degiskenler icin degisimler hesabı,ayrık degiskenler icin olagan analiz kullanılarak bulunan eniyi p∗ cozumu su sekildedir:

pβ(x) =1

Zexp{−

∑α∈I

βαφα(X)}. (4)

Burada Z ulesim islevidir ve β ∈ R|I| dagılımın ustel aileformunda parametreleridir.

(a) Bina maskesi (b) Komsuluk cizgesi

Sekil 3. Markov rasgele alanına ornekler. Yakınlık analizine gore komsu olandugumler (b)’de kırmızı ayrıtlarla baglanmıstır.

B. Uzamsal yerlesim modeli

Ikinci asamada, erisim problemi icin yapısal ve ista-tistiksel ozellikleri birarada kullanan olasılıksal bir modelgelistirilmistir. Bu modelde, bir bilesik yapıya denk gelen birbolge grubunun uzamsal yerlesimi Markov rasgele alanlarıylamodellenmektedir. Bir gruptaki komsu bolgeler arasındakiiliskiler ise yakınlık ve yonelim gibi Gestalt kanunlarıylamodellenmistir. Bu modelde, her bir ri bolgesinin merkeznoktası bir rasgele degisken olarak tanımlanmıstır. Buna gore,bir bolge grubunun rasgele degisken kumesi, R = {ri, i =0, . . . , n}, olarak temsil edilmektedir. Her bir bolge icin ayrıcabir komsuluk sistemi belirlenmistir. Bu sistemde bolgelerinmerkez noktalarına gore bir Voronoi dosemesi hesaplanmıs vekomsuluk icin cizge yapıları elde edilmistir (Sekil 3). Dahasonra bir ri bolgesi ve bir rj komsusu icin Gestalt ozellikleriniyansıtan iki oznitelik olcumu yapılmıstır:

• Gestalt kurallarından yakınlıgı olcen iki merkez nok-tası arasındaki uzaklık, dij ,

• Gestalt kurallarından dogrusallıgı olcen iki merkeznoktası arasındaki bagıl acı, αij .

Boylece, her bir bolgeye ait her bir komsuluk icin iki ozni-telik hesaplanmıstır, dij ,∀i, j ve αij ,∀i, j. Bunların yanındaek oznitelikler olarak her bir bolgenin alanı, ai,∀i, eksenelkacıklıgı, ei,∀i, ve yonelimi, oi,∀i, hesaplanmıstır. Dahasonra, hem bolgelerin bireysel karakteristiklerini hem de uzam-sal yerlesimlerini modelleyebilmek icin hesaplanan tum oznite-liklerin istatistikleri olarak histogramları cıkarılmıstır. Bu his-togramlar H(R) = (H(d), H(α), H(a), H(e), H(o)) seklindeifade edilmektedir. H(R) histogramının vektor uzunlugu tumhistogramlardaki hucrelerin sayısı kadardır. Bu model baskaozniteliklerin ve baska istatistiklerin eklenmesine de olanakvermektedir.

Histogramları verilen bir R grubunun maksimum entropiolasılık dagılımı gosterdigi varsayılmaktadır ve R’nin olasılıgı(4)’tekine benzer sekilde asagıdaki gibi ifade edilmektedir:

p(R|β) = 1

Zexp{− < β,H(R) >}. (5)

Burada, Z ulesim islevidir ve β her bir histogram hucresinikontrol eden bir parametre kumesidir.

Ornekle sorgulama senaryosunda bir ya da birden fazlabolge grubu, Rm,m = 1, . . . ,M , verildiginde, sorgu modeli

en yuksek olabilirlik kestirici ile elde edilebilmektedir:

L(β) =

M∑m=1

log p(Rm|β), (6)

β∗ = argmaxβ

L(β). (7)

Bayır artısı ile log-olabilirligin enyukseklenmesi β parametrekumesinin yinelemeli olarak guncellenmesi icin su esitligivermektedir:

dβ

dt= Ep[H(R)]− 1

M

M∑m=1

H(Rm). (8)

Bu esitlikle ilk degeri verilen β, β∗’a yakınsamaktadır. Her birt zaman adımı icin, Ep[H(R)] fonksiyonunun hesaplanmasıkolay degildir ve genellikle Gibbs ornekleyici ve Markov zin-ciri Monte Carlo (MZMC) yontemlerinin beraber kullanılmasıile elde edilen orneklerle kestirilmesi gerekmektedir. Bunagore, verilen bir β degeri icin p(R|β) dagılımından bazıgrup ornekleri, Rornekm ,m = 1, . . . ,M ′, sentezlenmistir veEp[H(R)] beklenti fonksiyonu bu orneklerin ortalaması ileyaklasıklanmıstır:

Ep[H(R)] ≈ 1

M ′

M ′∑m=1

H(Rornekm ) = µornek(β). (9)

IV. GORUNTU ERISIMI

Erisim senaryosunda verilen bir sorgu bolge grubuicin yukarıda anlatıldıgı sekilde β∗ parametre kumesiogrenilmektedir. Daha sonra parametreleri ogrenilen sorgubolge grubuna ait maksimum entropi modeline (β∗) goregoruntudeki diger bolge gruplarından cıkarılan istatistiklerin(H(R) histogramları) olasılıkları, p(R|β∗), hesaplanmaktadır.Son olarak, bolge grupları olasılıgı en buyuk olandan en kucukolana dogru sıralanarak sorgu bolge grubuna en cok benzeyenbolge gruplarına erisim yapılmaktadır.

V. DENEYLER

Bildiride sunulan erisim yontemini orneklendirmek icinAnkara’ya ait, 2m uzamsal cozunurluklu, cokluspektralbir WorldView-2 goruntusu uzerinde buyuk olcekli de-neyler yapılmıstır. Deneylerde kırmızı bantta esikleme vebicimbilimsel acma/kapama islemleri ile sezilen bina gruplarıkullanılmıstır. Verilen bir sorgu ornegi icinde yer alan binalarınberaber uzamsal yerlesimi ve tek baslarına karakteristikleri III.bolumde acıklandıgı gibi modellenmis ve buyuk goruntudebenzer uzamsal yerlesim ve karakteristiklerdeki bina gruplarınıbulabilmek icin IV. bolumde acıklandıgı gibi cakısan pence-reler kullanılarak erisim yapılmıstır. Dogruluk verisi henuzmevcut olmadıgı icin sadece nitel degerlendirme yapılmıstır.Birinci senaryoda uzun-ince binaların farklı yonelimlerde sey-rek olarak yerlestigi bir sorgu ornegi secilmistir. Bu uzamsalyerlesimdeki bina grupları daha cok sehir merkezinden dısarıdayer alan siteler seklinde ortaya cıkmaktadır. Ornek sonuclarSekil 4–5’de gosterilmektedir. Sonuclar, sorgu ornegine bina-ların beraber yerlesimi ve tek tek karakteristikleri acısındanbenzeyen, yani birbirinden goreceli olarak daha ayrık veuzun-ince binaların bulundugu alanlara basarılı bir sekildeerisilebildigini gostermektedir. Sekil 4 detaylı incelendiginde,erisilen sonucların beklendigi gibi sorgu goruntusu etrafında

Sekil 4. Buyuk Ankara goruntusunde erisim ornekleri. Sorgu ornegi olarakkullanılan pencere kırmızı ile, bu pencereden ogrenilen modele benzemeolasılıgı en yuksek olan 100 pencere ise mavi ile gosterilmistir.

Sekil 5. Sekil 4’te sorgu ornegi olarak kullanılan pencere ve bu penceredenogrenilmis olan modele en cok benzeyen 14 pencere.

ve sehir merkezinden dısarıda yer aldıgını gormekteyiz. Dahakucuk binaların belirli bir yonelimle sık olarak yerlestigibir sorgu orneginin verildigi ikinci senaryoya ait orneksonuclar Sekil 6–7’de gosterilmektedir. Erisilen sonuclar sorguornegindeki gibi aynı yonelimde birbirine yakın kucuk bi-nalar icermektedir. Bu turden bina grupları genellikle sehirmerkezlerindeki yerlesim yerlerine karsılık gelmektedir. Sekil6’daki sonucların yine beklendigi gibi sehir merkezinin ortataraflarından secilen sorgu goruntusunun etrafında obeklendigigozlemlenebilir.

VI. SONUCLAR

Bilesik nesneleri, bir Markov rasgele alanı kullanarakkendisini olusturan temel nesnelerin uzamsal yerlesimlerinegore modelleyen bir yontem acıkladık. Ilgi duyulan yapılarolarak bina gruplarını bulmayı amaclayan deneyler, gelenek-sel erisim yontemleri ile elde edilemeyen farklı karakteris-tiklerdeki gruplara, nesneler arasındaki iliskilerin istatistikselolarak modellenmesi ile erisilebildigini gostermistir. Gelecekcalısmalar temel nesne grubu kumesinin buyutulmesi ve farklıerisim senaryoları uretilmesi yonunde olacaktır.

KAYNAKLAR

[1] R. Gaetano, G. Scarpa, and G. Poggi, “Hierarchical texture-based seg-mentation of multiresolution remote-sensing images,” IEEE Transactionson Geoscience and Remote Sensing, vol. 47, no. 7, pp. 2129–2141, July2009.

Sekil 6. Buyuk Ankara goruntusunde erisim ornekleri. Sorgu ornegi olarakkullanılan pencere kırmızı ile, bu pencereden ogrenilen modele benzemeolasılıgı en yuksek olan 100 pencere ise mavi ile gosterilmistir.

Sekil 7. Sekil 6’da sorgu ornegi olarak kullanılan pencere ve bu penceredenogrenilmis olan modele en cok benzeyen 14 pencere.

[2] D. Zamalieva, S. Aksoy, and J. C. Tilton, “Finding compound structuresin images using image segmentation and graph-based knowledge dis-covery,” in Proceedings of IEEE International Geoscience and RemoteSensing Symposium, Cape Town, South Africa, July 13–17, 2009.

[3] E. Dogrusoz and S. Aksoy, “Modeling urban structures using graph-basedspatial patterns,” in Proceedings of IEEE International Geoscience andRemote Sensing Symposium, Barcelona, Spain, July 23–27, 2007, pp.4826–4829.

[4] H. G. Akcay and S. Aksoy, “Detection of compound structures using hi-erarchical clustering of statistical and structural features,” in Proceedingsof IEEE International Geoscience and Remote Sensing Symposium,Vancouver, Canada, July 25–29, 2011, pp. 2385–2388.