multispektral görüntülerde İnce taneli nesne tanıma ve ... · multispektral görüntülerde...

Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve

Örneksiz ÖğrenmeGencer Sümbül ve Selim Aksoy

Bilgisayar Mühendisligi Bölümü Bilkent Üniversitesi, Ankara, Türkiye

[email protected], [email protected]

1

Ramazan Gökberk CinbişBilgisayar Mühendisligi Bölümü

Orta Dogu Teknik Üniversitesi, Ankara, Tü[email protected]

Bu çalışma TÜBİTAK 116E445 numaralı proje ve Bilim Akademisi BAGEP Ödülü ile desteklenmiştir.

Multispektral Görüntülerde İnce Taneli Nesne Tanıma ve Örneksiz Öğrenme

Taslak

● Giriş● Problem Tanımı● İlgili Çalışmalar● Yöntem (Örneksiz Öğrenme, Görüntü ve Sınıf Gösterimi)● Veri Kümesi ● Deneyler (Deney Düzeneği, Güdümlü Sınıflandırma, Örneksiz Öğrenme)● Sonuçlar ve Değerlendirme

2


Giriş

● Uzamsal ve spektral çözünürlüğün artışı ile yeni ayrıntılar, yeni sınıflar○ Hedef sınıfların çeşitliliğinde ve benzerliğinde artış

● Geleneksel nesne tanıma: ○ Güdümlü öğrenme için dengeli ve az sayıda sınıflardan oluşan veri

bolluğu ○ UC Merced4, AID5 vb.○ Tarımsal, plaj, orman, yol, liman, park alanı, yerleşim alanı, nehir vb.

gibi görece kolay ayırt edilebilen kategoriler ○ Dengeli sınıflar

3


Problem Tanımı - İnce Taneli Nesne Tanıma

● Çok çeşitli ve farklılıkları güç algılanan sınıflar

● Düşük sınıflar arası değişinti● Yüksek sınıf içi değişinti● Küçük örneklem büyüklüğü ve sınıf

dengesizliği● Uzamsal olarak dağıtık veriyi edinme

maliyeti● Alan uzmanları için bile zor bir problem

Çok sayıda alt kategori içerisinde nesne türünü tanımak

4

Sokak ağaçları türleri


Problem Tanımı - Örneksiz Öğrenme

● Daha zor ama gerçekçi bir senaryo

● Hiçbir eğitim örneği bulunmayan kategoriler için tanıma modeli

● Eğitimde görülmeyen ve görülen sınıflar arasındaki ilişkiyi oluşturmak

için yeni yardımcı bilgi kaynakları

5

Hiçbir eğitim örneği bulunmayan sınıfları öğrenmek


İlgili Çalışmalar● Sınırlı ilgi

○ Li et. al., “Zero-Shot Scene Classification for High Spatial Resolution Remote Sensing Images", IEEE TGRS, 20171

○ Branson et. al., “From google maps to a fine-grained catalog of street trees”, ISPRS P&RS, 20182

○ Sumbul et. al., “Fine-grained object recognition and zero-shot learning in remote sensing imagery”, IEEE TGRS, 20183

● Sadece RGB görüntüleri üzerinde

6

Uzaktan algılanmış multispektral

görüntüler üzerinde yapılan ilk ince taneli

nesne tanıma ve örneksiz öğrenme

çalışması


Örneksiz Öğrenme● Eğitim zamanı:

○ Yardımcı bilgi kaynaklarından gelen ek bilgiye ve eğitim örneklerine sahip sınıflar

● Test zamanı:○ Yardımcı bilgi kaynaklarından gelen ek bilgiye sahip ama eğitim

örneği bulunmayan sınıflar● Amaç, eğitim örneği bulunmayan sınıfları tanımak● Sınıflar için yardımcı bilgi kaynakları:

○ Elle etiketlenmiş nitelikler○ Sınıf isimlerinin metin gösterimleri○ Hiyerarşik gösterim○ ... 7


Yöntem - Örneksiz Öğrenme

● Sınıf temsili vektörleri ile eğitimde görülen ve görülmeyen sınıflar arasında bilgi aktarımı

● Amacımız, verilen bir görüntüyü hedef sınıflardan birine eşleyen çift doğrusal yapıda ayırıcı bir uyumluluk fonksiyonu öğrenmek

○

○ : görüntü gösterimi

○ : sınıf gösterimi

8


Yöntem - Örneksiz Öğrenme● Sınıfa ait sonsal olasılık dağılımı, uyumluluk

değerlerinin softmax sonucu olarak tanımlanmaktadır:

○

9

● Uyumluluk fonksiyonunun en büyük olabilirlik ilkesi ile öğrenilmesi amaçlanmaktadır:

○En iyileme problemi, eğitim örneklerinin öngörülen gerçek sınıf olasılıklarını en

büyükleyen W matrisinin bulunması olarakyorumlanabilir.


Yöntem - Örneksiz Öğrenme

● Stokastik gradyan inişi (SGİ) tabanlı en iyileme

● SGİ yinelemeleri boyunca uyarlamalı öğrenme hızı

● Düzenlileştirme terimi yerine erken durdurma

10


Yöntem - Görüntü Gösterimi● Piksel tabanlı spektral bilgileri ve uzamsal doku

içeriğini modelleyebilmek için derin evrişimsel sinir ağı● Eğitimde görülen sınıflar üzerinde eğitildikten sonra ilk

tam bağlantılı katmanın çıktısı olan 128 boyutlu vektör

11


Yöntem - Görüntü Gösterimi● Uzamsal çözünürlüğü kaybetmemek adına biriktirme katmanı tercih

edilmemiştir.● Farklı filtre boyutlarına sahip mimariler denenmiş, en iyileri karşılaştırılmıştır.

○ 5 x 5, 5 x 5, 3 x 3○ 3 x 3, 3 x 3, 3 x 3

12


Yöntem - Sınıf Gösterimi

● Hedef tema alanından topladığımız elle

etiketlenmiş nitelikler

● Güdümsüz dil modelleri kullanılarak

oluşturulmuş metin gösterimleri

● Bilimsel taksonomiye dayalı hiyerarşik gösterim

● Bu üç gösterim yöntemiyle üretilen vektörler art

arda eklenerek son gösterim vektörü

oluşturulmaktadır. 13


Yöntem - Nitelik

● Florida Ağaçları bilgi metnine6 dayanarak 25 nitelik○ Yükseklik, yaprak şekli, çiçek rengi,

açıklık, taç türdeşliği, doku, yaprak düzeni, sonbahar rengi vs.

14

Nitelik Tipi Olası Değerler

Yükseklik {10-15, 15-20, 20-25, 25-30, ...}

Taç Türdeşliği {düzenli, düzensiz}

Yaprak Rengi {yeşil, mor}

... ….


Yöntem - Metin Gösterimi

● Kelimeler ve onların bağlamları arasındaki ilişkiyi modelleyen güdümsüz

Word2Vec7 yaklaşımı

● Wikipedia makaleleri üzerinde eğitilmiş 1000 boyutlu bir gösterim modeli

üzerinden ağaç türlerinin yaygın adlarının kelime gösterimleri

● Her kategori için kelime vektörlerinin ortalaması

15


Yöntem - Hiyerarşi

● Ağaç türleri arasındaki benzerlikleri bilimsel

sınıflandırmaya dayanarak ifade etmek

● Ağaç türlerinin konumu için ağaç-vektör

dönüşüm şeması8

16


Veri Kümesi

● 40 sınıfa ait 48,063 sokak ağacının konum bilgisi ve isimlerinin

bulunduğu GIS verisi9

● WorldView-2 uydusundan çekilmiş 8 bantlı ve 1.84 metre uzamsal

çözünürlüğe sahip multispektral görüntü verisi

● Her ağaç için 4 x 4 boyutlu pencereler

17


Deney Düzeneği

● Ayrık 3 sınıf kümesi○ Güdümlü Küme: 18 sınıf (en büyükler)

■ Evrişimsel sinir ağının eğitilmesi (güdümlü eğitim (%60), güdümlü sağlama (%20) ve güdümlü test (%20))

■ Örneksiz öğrenme modelinin eğitilmesi○ Örneksiz Öğrenme Sağlama Kümesi: 6 sınıf (en küçükler)

■ Örneksiz öğrenme modelinin parametrelerinin ayarlanması○ Örneksiz Öğrenme Test Kümesi: 16 sınıf (kalanlar)

■ Model performansının değerlendirilmesi18


Güdümlü İnce Taneli Sınıflandırma Sonuçları

19

Düzgelenmiş Doğruluk (%)

Rastgele Tahmin 5.6

Rastgele Orman (RGB)3 15.8

Rastgele Orman (Multispektral) 21.3

Evrişimsel Ağ (RGB)3 34.6

Evrişimsel Ağ (Multispektral) Filtre: (5 x 5), (5 x 5), (3 x 3) 36.7

Evrişimsel Ağ (Multispektral) Filtre: (3 x 3), (3 x 3), (3 x 3) 39.0

❖ Sonuçlar güdümlü kümedeki 18 sınıfa aittir.


İnce Taneli Örneksiz Öğrenme Sonuçları

20

Düzgelenmiş Doğruluk (%)

Rastgele Tahmin 6.3

Örneksiz Öğrenme (RGB)3 14.3

Örneksiz Öğrenme (Multispektral) Filtre: (5 x 5), (5 x 5), (3 x 3) 14.7

Örneksiz Öğrenme (Multispektral) Filtre: (3 x 3), (3 x 3), (3 x 3) 15.2

❖ Sonuçlar örneksiz öğrenme kümesinde hiç eğitim örneği olmayan 16 sınıfa aittir.


Farklı Sınıf Gösterimleri İçin Örneksiz Öğrenme Sonuçları

21

Nitelik Hiyerarşi Word2Vec Düzgelenmiş Doğruluk (%)

13.3

13.0

13.3

13.5

13.4

14.6

15.2


Sonuçlar ve Değerlendirme

● RGB görüntüsü için kullanılan mimariyle elde edilen multispektral görüntü

gösteriminin örneksiz öğrenme sonucu ile yaklaşık 6 kat daha düşük uzamsal

çözünürlüğe rağmen aynı başarı yakalanmıştır.

● Multispektral görüntüye daha uygun filtre boyutu (3×3) tercih edildiği zaman,

başarının arttığı gözlemlenmiştir.

● Sınıf gösterimleri birbirini tamamlayıcı niteliktedir.

22


Kaynaklar1. A. Li, Z. Lu, L. Wang, T. Xiang and J. R. Wen, "Zero-Shot Scene Classification for High Spatial Resolution Remote Sensing Images," in

IEEE Transactions on Geoscience and Remote Sensing, vol. 55, no. 7, pp. 4157-4167, July 2017.2. S. Branson, J. D. Wegner, D. Hall, N. Lang, K. Schindler, and P. Perona, “From google maps to a fine-grained catalog of street trees,”

ISPRS J. Photogram. Remote Sens., vol. 135, pp. 13–30, January 2018.3. G. Sumbul, R. G. Cinbis, and S. Aksoy, “Fine-grained object recognition and zero-shot learning in remote sensing imagery,” IEEE Trans.

Geosci. Remote Sens., vol. 56, no. 2, pp. 770–779, February 2018.4. Y. Yang and S. Newsam, “Bag-of-visual-words and spatial extensions for land-use classification,” in Intl. Conf. Adv. Geogr. Inf. Syst.,

2010, pp. 270–279.5. G.-S. Xia, J. Hu, F. Hu, B. Shi, X. Bai, Y. Zhong, L. Zhang, and X. Lu, “AID: A benchmark data set for performance evaluation of aerial

scene classification,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 7, pp. 3965–3981, July 2017.6. University of Florida, Gainesville, FL, USA. (Oct. 2016). 680 Tree Fact Sheets: Trees by Common Name. [Online]. Available:

http://hort.ifas.ufl.edu/database/trees/trees_common.shtml7. T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean, “Distributed representations of words and phrases and their

compositionality,” in Adv. Neural Inf. Process. Syst., 2013, pp. 3111–3119.8. R. Mittelman, M. Sun, B. Kuipers, and S. Savarese, “A Bayesian generative model for learning semantic hierarchies,” Frontiers Psychol.,

vol. 5, p. 417, May 2014..9. City of Seattle, Department of Transportation. (2016, October) Seattle street trees. [Online]. Available:

http://web6.seattle.gov/SDOT/StreetTrees/.

23

multispektral görüntülerde İnce taneli nesne tanıma ve ... · multispektral görüntülerde...

Documents