Uydu Görüntülerinden Bina Bölütleme ve Son-İşleme Yöntemlerinin Performansı
Building Segmentation on Satellite Images and Performance of Post-Processing Methods

Uydu görüntüleri üzerinden yeryüzü haritaları çıkartma uygulamaları hayatı kolaylaştırıcı işler yapmamızı sağlamaktadır. Şehir ve kırsal üzerinden alınmış görüntüler üzerinde çalışan bölütleme algoritmaları sayesinde yeryüzünde bulunan su havzaları, ormanlar, binalar ve daha birçok nesne tespit edilebilmektedir. Bu tespit yöntemleri sayesinde dağlık bölgelerdeki yollar ve yaşam alanlarını planlamak, kasaba ve köy gibi küçük yerleşim birimleri için yol, su, elektrik ve haberleşme ağlarının uygun noktalara yerleştirme işlemleri verimli bir şekilde gerçekleştirilebilmektedir. Bu sebeble uydu görüntüleri üzerinden yeryüzü bölütleme problemi büyük önem arzetmektedir. Çalışmamızda farklı bölgelerden alınan uydu görüntülerinden bina tespiti üzerine yoğunlaşılmıştır.

Son yıllarda yapilan çalışmalarda anlamsal (semantik) bölütleme problemi üzerinde çokça mesafe katedilmiştir. Semantik bölütleme işlemi, görüntü üzerinde bulunan her piksel için bir sınıf seçiminin yapıldığı bir bilgisayarlı görü algoritmasıdır. Yarı-denetimli ve denetimsiz öğrenme yöntemlerinde etiketsiz görüntülerden faydalanılabilirken, denetimli semantik bölütleme eğitiminde uygun bir sekilde etiketlenmiş görüntülere ihtiyaç duyulmaktadır. Uydu görüntüsü üzerinde bulunan her piksel için o pikselin hangi sınıfa ait olduğunu belirten etiket dosyaları bulunmaktadır. Bu çalışmada da bina bölütleme problemi üzerine çalışılmakta, veri kümesindeki bina sınıfları kullanılmaktadır. Her görüntünün içerisindeki binalara ait pikselleri ifade eden piksellere etiket dosyasında 1, binayı ifade etmeyen piksellere ise 0 değeri verilmiştir.

Burada karşılaşılan zorluklardan biri modelleri eğittiğimiz görüntüler ile test bölgesi uydu görüntülerinin yakınlaştırma seviyelerinin farklı olabilmesidir. Bu çalışmada farklı yakınlaştırma düzeylerinden alınmış görüntülerle eğitilmiş modellerin, INRIA[1] veri kümesi üzerindeki performansı incelenmiştir.

Semantik bölütleme modeli eğitimi için gerekli verilerin çokluğu, modelin genelleştirilebilmesi adına önem arz etmektedir. Eğitim verisi sayısının artması modelin daha farklı görüntüler görmesine ve öğrenmesine yol açmaktadır. Bu çalışmada Çin’in bina oranı yüksek bölgelerinden alınmış görüntülerle denetimli semantik bölütleme modelleri eğitilmiş ve aynı model INRIA veri kümesi icerisinde bulunan "Chicago" şehrinde test edilmiştir. Bahsettiğimiz gibi denetimli öğrenme yönteminde veri sayısının çokluğu işe yarıyorken, veri kümesinin içerisinde bulunan veri dağılımlarının benzerliği de önemli olduğu görülmüştür. Binaların yoğun olarak bulunduğu bir şehir bölgesi ile tarımsal arazi bölgesi bir arada eğitildiğinde modele bağlı olarak öğrenememe sorunları yaşanmıştır. Alan farklılığından yaşanan bu sorunlar öğrenme transferi [2] yöntemleriyle çözülebilmektedir. Bu çalışmada sadece bina sıklığının yoğun olduğu bölgelerle eğitim yapılıp test edilmiştir.

Görüntüler üzerinde sınıflandırma, obje bulma, anlamlandırma (image-captioning), görüntüler arası transfer ve yeni görüntüler üretme gibi işlemlerde başarılı pek çok bilgisayarlı görü yöntemi vardır. Semantik bölütleme de bilgisayarlı görünün önemli kullanım alanlarından birisidir. Semantik bölütleme işleminde piksel seviyesinde tahminler yapılmaktadır. Zaman içerisinde semantik bölütleme için birçok yöntem önerilmiştir. FCN[3] semantik bölütleme problemine uygulanan ilk çözümlerden biridir. FCN mimarisinde birçok evrişimsel ve havuzlama (pooling) katmanla görüntünün boyutu 1/32 katına küçültülmüş ve ters-evrişim katmanları ile görüntü gerçek boyutuna getirilerek piksel bazında tahminler yapılmıştır.

Bahsetmemiz gereken bir diğer önemli mimari ise U-Net[4] modelidir. Bu calışmada U-Net’in geliştirilmiş versiyonu deneylerde kullanılmaktadır. U-Net mimarisinde, FCN e gore iki önemli değişiklik göze çarpmaktadır. FCN mimarisi sırasıyla aşağı ve yukarı örnekleme yaparak gerçek görüntü çözünürlüğünü elde etmekte olup, U-Net yapısı bunu kodlayıcı ve kod çözücü yapılarını simetrik olarak kullanarak yapmakta ve kod çözücü yapısında çoklu kanal yapısı kullanarak kodlayıcı kanalının katmanlarındaki semantik bilgiyi kod çözücü kanalın ilgili kanallarına aktarabilmeyi başarmıştır. Bu şekilde son katmandaki semantik bilgi ilk katmandakilerle birlikte güçlendirilmiştir. U-Net++ [5] çalışması ile bu yapı iyileştirilmiş, kodlayıcı ve kod çözücü kısımları arasında atlama-bağlantısı (skip-connection) yapısı kullanılmıştır. Atlama-bağlantısı yapısı ile ilk katmanlardaki semantik bilginin ileriki yukarı-örnekleme katmanlarına aktarımı sağlanarak güçlendirilmesi amaçlanmaktadır. Günümüzde görüldüğü üzere medikal görüntülerde kullanılmak icin tasarlanan bu mimari, uzaktan algılama dahil birçok alanda önemli başarımlar elde etmiştir. Bu calışmada U-Net++ modelinden faydalanılarak eğitilen modeller, INRIA veri kümesinde test edilmiştir.

DeepLab [6] mimarisi de yukarıda bahsettiklerimiz gibi evrişimsel ağları kullanan bir başka yöntemdir. Bu yöntemde birkaç yeni özellik eklenmiştir. Delikli (atrous) evrişim diger ismiyle genişletilmiş (dilated) evrişim denilen yeni bir yöntemle daha büyük bir görüntü alanı, daha az parametre kullanarak evrişim işlemi yapılmış ve işlem yükü azaltılmıştır. DeepLabV1 geliştirmesinde ise aşağı-örnekleme ile kaybedilen uzamsal çözünürlük daha az aşağı-örnekleme yapılarak bunun yerine delikli evrişimsel filtrelerinin büyütülmesi ile çözülmüş, aynı zamanda tamamen bağlı koşullu rasgele alan(fully connected conditional random field ) ile benzer pikseller kullanılarak sınıf tahminine katkıda bulunmuşlardır. DeepLabV2 [7], DeepLabV3 [8] ve son olarak bu çalışmada da kullanılan DeepLabV3+[9] yöntemlerinde de Delikli uzamsal piramit (Atrous Spatial Pyramid) havuzlama ile farklı örnekleme sıklığı ile elde edilmiş çıktıların birleştirilmesiyle sonuçlar iyileştirilmiş, daha keskin nesnelerin kestirimi icin delikli evrişim işlemini U-Net’de bulunan kodlayıcı ve kod çözücü mimarisine adapte etmişlerdir. Bu sayede son modelde daha keskin sınırların bulunulduğu ve semantik bilgiye daha iyi bir performansla erişilebildiği gözlenmiştir. Li ve arkadaşlarının [10] calışmasında DeeplabV3+ [9] modelini bina bölütleme icin kullanmış, ayrıca bu model sonuçlarını iyileştirmek için aktif öğrenme, artımlı öğrenme ve transfer öğrenimi yöntemlerinin etkilerini gözlemlemiştir.

Uydu görüntülerinden bina bölütleme problemi yakın süre içerisinde birçok araştırmacının ilgisini çekmektedir. Bu çalışmalarda derin öğrenme metodlarını kullananlar bulunduğu gibi, destek vektör makinesi (SVM) metodunu kullanarak bina bölütleme yapıldığı çalışmalar da bulunmaktadır[11]. Vakalopoulou ve arkadaşlarının çalışmasında INRIA veri kümesinden alınmış yüksek cözünürlüklü uydu görüntüsünü önce AlexNet [12]’e beslemiş, FC (Fully Connected) yapısının 7. katman çıktısını SVM sınıflandırıcısını eğitmek icin özellik vektörü olarak kullanmışlardır. Eğitilen SVM[13] modeli çıktısı MRF (Markov Random Field) tabanlı modelle rötuş (post processing) işlemi yapılarak sonuçlar iyileştirimiştir. Fakat bina bölütleme problemi görüntüler arasında ölçek faktörü farklılığı, gölge oranı, binaya benzeyip bina olmayan komplex objelerin varlığı sebebiyle klasik görüntü işleme yöntemleriyle çözülemeyecek kadar zor bir problemdir. Bu sebeble derin öğrenme algoritmaları kullanılarak yakın zamanda pek çok calışma gerçekleştirilmiştir.

Yang ve arkadaşlarının [14] yaptığı calışmada farklı seviyedeki özellik çıktılarını kullanan dikkat (attention) mekanizmasını kullanan yeni bir mimari DenseNets ile bina bölütleme calışmaları yapılmıştır. Bittner ve arkadaşları [15] ise yukarıda bahsettiğimiz FCN [3] yapısını kullanarak yüksek çözünürlüklü uydu görüntüleri ile aynı görüntünün yükseklik bilgilerini taşıyan sayısal yeryüzü modeli (DSM) verilerini kullanarak bina bölütlemesi yaptı. Marcu ve arkadaşları [16] çok-aşamalı çoklu-görev mimarisi ile bir dalında bölütleme yaparken diğer regresyon dalında lokalizasyon yaparak çoklu dal kullanımının bölütleme sonuçlarını iyileştirdiğini gösterdi.

Uzaktan algılama görüntülerinde bina bölütleme ile ilgili birçok karşılastırma makalesi de bulunmaktadır [17],[18],[19],[20]. Yi ve arkadaşlarının [18] yaptığı çalışmada U-Net modeline göre daha az sonuç çıkarma süresine sahip, az parametreyle daha iyi sonuçlar veren DeepResUnet modelini geliştirdi ve bu modeli DeepConvNet[21], FCN, UNET , Segnet[22] modellerini kullanarak bina bölütleme performansları karşılaştırması yaptı. Erdem ve diğerleri [19] bina bölütlemesine uygun model bulabilmek icin U-Net modelini birkaç farklı öznitelik çıkarıcı mimarileriyle eğiterek performanslarını karşılaştırdı, aynı zamanda da çoğunluk oylama son işlem yaklaşımı uygulayarak sonuçların iyileşip iyileşmediğini test etti.

Ayrıca bina bölütleme modellerinin performansını geliştirmek icin kullanılabilecek veri arttırım yöntemlerinin karşılaştırıldığı calışmalar da bulunmaktadir [23], [24]. Illarionova ve arkadaşları [24] eğitim veri kümesini arttırabilmek için yeni bir obje tabanlı veri arttırım yöntemi geliştirdi. Bu yöntemde Hedef piksellerini ile temiz arka plan görüntülerine sahip görüntülere aktararak elde bulunan hedef pikselli görüntü sayısını arttırdı. Bu metodu birçok bölgede test ederek tutarlılığını kontrol ettiler. Li ve arkadaşlarının çalışmasında ise [25]2000 li yıllardan bu yana yapılmış bütün bina bölütleme ve tespit çalışmalarını araştırmı ve makalelerinde veri arttırım yöntemleriyle birlkte sunmuşlardır. Bu çalışmaya göre bina tespitleri, önceden edinilmiş geometrik, spektral ve içerik bilgileri ile yapılan son-işlem yöntemleri ile iyileştirilebilmiştir [26]. Spektral bilgi varsa NFBI (normalized difference vegatiation index - NDVI) veya HSV renk uzayındaki renk tonu bilgisi kullanarak toprak bölgelerdeki yanlış alarmlar temizlenmiştir. Geometrik analiz kısmında ise tahminler içerisinde bağlı bileşen analizi yapmışlardır. Son olarak da içerik bilgisi ile son-işlem yaparken sahnedeki gölgeler tepit edimiş, gölge bulunmayan yerdeki bina tespitleri elimine edilmiştir.

INRIA veri kümesi ABD ve Avusturya ülkelerinin birçok şehrinden alınmış yüksek cözünürlüklü uydu görüntülerinden oluşmuş, bina sınıflarının etiketlerinin bulunduğu bir veri kümesidir. Çalışmamızda bu veri kümesinin Chicago bölgesinde test yapılmıştır. Eğitim veri kümesi ise Çin üzerinden alınmış yüksek çözünürlüklü, bina yoğunluğunun sık olduğu alanlardan oluşmaktadır. HWLC-18 ve HWLC-16 veri kümesi Huawei tarafından oluşturulmuştur [27]. Bu veri setleri sırasıyla 0.6 ve 2.4 metre çözünürlüğe sahip olup openstreetmap’e göre seviyeleri Seviye-18 ve Seviye-16 olarak kabül edilmektedir.

Bu makalede U-Net++ ve DeepLabv3+ mimarilerini, farklı kodlayıcı modelleri kullanarak eğitimler düzenlenmiş ve modeller oluşturulmuştur. VGG-16 [28], EfficientNet[29], Resnet [30] and MobileNet [31] yapılarından öznitelik çıkarıcı olarak faydalanılmıştır. Test adımı sırasında uygulanan son-işlem yöntemlerinin model performasına etkileri incelenmiştir.

Uydu görüntüleri üzerinden bina tespiti yapmak amacıyla bilgisayarlı görü uygulamaları sıkça kullanılmaktadır. Bu çalışmada temel olarak U-Net++ ve DeepLabV3+ modeli temel alınmıştır. Bu modeller farklı öznitelik çıkarıcı ağlar kullanılarak eğitilmiş ve sonuçları karşılaştırılmıştır.

Kentsel olarak gelişmis bir bölgeden alınan uydu görüntüleri geniş bir alan kaplamaktadır. Uzamsal olarak yüksek çözünürlüklü bu resimler model eğitiminde kullanabilmek icin kırpılmıştır. 512x512 boyutunda kırpılmış kırmızı-yeşil-mavi (RGB) kanallı resimler ile yine aynı boyuttaki etiket dosyaları oluşturulmuştur. Bu etiket dosyaları bina ve bina olmayan sınıfları olarak iki farklı sınıf etiketinden oluşmaktadır. Eğitim sırasında veri çeşitliliğinin arttırılması için veri arttırımı görüntü işleme metodları kullanılmaktadır. Kullandığımız öznitelik çıkarıcı mimarileri en iyi ağırlıklarını Imagenet [32] veri kümesi üzerinde eğitilmiş ve bu veri kümesinin ortalama ve standart sapma değerlerini kullanmışlardır. Bu sebeble eğitimin ilk basamağında görüntüler ön-işleme yapılarak uydu görüntüleri ortalama ve standart sapma değerleri Imagenet ile aynı seviyeye getirilmiştir. Şekil 1 de Resnet mimarisi ön-işleme adımı öncesi ve sonrası görüntü gösterilmiştir.

Denetimli semantik bölütleme yöntemlerinde veri çesitliliği ve sayıca fazlalığı modelin genel öznitelikler öğreniminde önemli yer kapsamaktadır. Yüksek çözünürlüklü görüntülerden kırpılarak elde ettiğimiz eğitim veri kümesi her eğitim basamağında grup boyutunca (batch size) çeşitli veri arttırım yöntemleri uygulanmaktadır. Bu veri arttırım yöntemi seçimi rastgele yapılmaktadır. Çubuk ve arkadaşlarının [33] çalışmasında veri arttırım yönteminin semantik bölütleme üzerindeki etkisini ortaya koymuşlardır. Çalışmamızda da benzer bir yöntemden faydalanılmış ve veri arttırımı sağlanmıştır. Eğitim sırasında grup boyutu 8 olarak belirlenmiştir. Grup içerisindeki her görüntü için liste halinde bulunan veri arttırım yöntemlerinden rastgele biri uygulanmış, uygulanıp uygulanmayacağı da bir olasılık yüzdesine bağlanmıştır. Döndürme, Afin dönüşüm, Transformasyon, Görüntü Renk Değerleri Tersine Çevirme, Rastgele Kontrast, Rastgele Parlaklık ekleme yöntemleri albumentations [34] kütüphanesi kulanılılarak uygulanmış, eğitim basamak sayısı arttıkça döndürme ve diğer transformasyonların derecesi yükseltilmiş ve daha etkili uygulanması sağlanmıştır.

Bu çalışmada temel olarak U-Net++ ve DeepLabV3 modelleri kullanılmaktadır. U-Net++ mimarisi isminden de anlaşıldığı üzere U harfi şeklinde evrişimsel sinir ağlarından oluşmaktadır, bu yapı otomatik-kodlayıcı (auto-encoder) yapılarından esinlenilerek tasarlanmıştır. U-Net++ yapısının ilk versiyonlarına teme farkı atlama-bağlantısı (skip-connection) yapısı kullanarak semantik bilginin bütün katmanlar arasında yayılımını sağlamaktadır. Farklı öznitelik çıkarıcılar kullanılarak U-Net++ modeli performans değerlendirmesi yapılmıştır. Bunlardan ilki VGG-16 mimarisidir. VGG-16 bir çeşit evrişimsel sinir ağı (CNN) dır ve ağırlık içeren 13 adet evrişim katmanı ve 3 adet yoğun sinir ağından oluşmasından dolayı VGG-16 ismini almıştır. VGG-16 yapısını diğer öznitelik çıkarıcılardan ayıran özelliği, bütün katmanlarında 3x3 evrişim ağı bulundurmasıdır. Daha küçük ve sabit 3x3 boyutu evrişim filtreleri kullanmaları AlexNet’e göre daha az sayıda parametre kullanmalarına aynı zamanda daha iyi performans kazanmaları ile sonuçlanmıştır. Yapısında 5 evrişim katmanı bulunmakta bu katmanlar arasında da havuzlama yapılmaktadır. Son katmanda ise 3 adet yoğun sinir katmanı (Dense layer) kullanarak sınıflandırma problemlerinde ullanılmak üzere üretilmiştir. Çalışmada öznitelik çıkarıcı olarak kullanıldığı için son katman kullanılmamakta, ara katmanların ürettiği aktivasyonlar öznitelik olarak kullanılmaktadır.

Modellerdeki parametre çokluğu işlemsel yük getirmektedir. Daha düşük parametreliş modeller elde etmek için boyutlar azaltılıyor, bu halde öznitelikleri kaybetmemek için çözünürlük ve genişlik büyütülmeye çalışılıyor fakat her mimaride bu ayrı ayrı yapılabilmektedir. EfficientNet yapısında ise daha az parametre ile hem derinlik hem genişlik hem de çözünürlükte artış sağlayıp verimli bri şekilde tespit yapılabilmesini sağlayan bir yapı geliştirilmiştir. Bunu gerçekleştirebilmek için hem derinlik hemde nokta tabanlı evrişim yapılmaktadır. Bu yönteme birleşik katsayı (compound coefficient) yöntemi denilmektedir.

ResNet mimarisi de çalışmamızda kullanılan bir diğer önemli öznitelik çıkarıcı yapıdır. Bu yapının temel çıkış noktası VGG-16 gibi evrişimli nöral ağ yapılarındaki gradyan tükenmesi (vanishing gradient) probleminin önüne geçmektir. Bu sebeble atlama-bağlantısı (skip-connection) yapılarını kullanarak katmanlar arası bağlatı sağlayarak gradyanların sıfırlanma problemine çözüm getirmişlerdir.

Öznitelik çıkarıcı mimarilerin performansını değerlendirebilmek için uydu görüntüleri bu yapıların girişine vererek, içerdikleri katmanların çıktıları görselleştirilmiştir. Şekil 2 de VGG-16 öznitelik çıkarıcısının sırasıyla ilk 5 katman çıktısı görselleştirilmiş, Şekil 3 de Resnet-18 ve Şekil 4 aktivasyonları görselleştirilmiştir. Buradan da görüldüğü üzere VGG-16 modeli bina yüzeylerini daha belirgin şekilde ilk katmanlarında bulabilmekte ve bunu son katmanlara aktarabilmektedir. EfficientNet modeli keskin hat bulma konusunda VGG-18 den geri kalmasına krşın ResNet-50 ye göre daha küçük detaylı ortaya çıkarabilmiştir.

ResNet-50 modelinin alıcı alanı (receptive field) 483, VGG-16 ağının da 212 dir. Alıcı Ağının gördüğü alanın darlığı bu problemde daha iyi performans sağladığı düşünülebilir.

Bu calışmada 3 farklı kayıp fonksiyonu denemesi yapılmıştır. Bunlardan ilki,

Yapılan çalışmada 0.6 ve 2.4 metre çözünürlükteki HWLC-16 ve HWLC-18 verisetleriyle eğitilmiş modeller, INRIA veri kümesi Chicago bölgesinde test edilmiştir. Çalışmalarımızdan çıkardığımız sonuç itibariyle U-Net++ modeli VGG-16 öznitelik çıkarıcı ile en iyi sonuçları vermektedir. U-Net++ modelinin DeepLabV3 modeliyle yapılmış bütün test performanslarının üzerinde olduğu görülmektedir. Buradan çıkarılabilecek sonuçlardan biri DeepLabV3+ yönteminde yapılan delikli evrişim işleminin model derinliğini azaltması sebebiyle yeterince öğrenilemediğini ve özniteliklerin çıkarılamadığını düşündürmektedir.
Bunun yanı sıra, son-işlem yöntemleri ile test zamanında veri arttırımı sağlanarak çoklu test yapılmış, ve sonuçların %3 seviyesinde artış göstermiştir. DeepLabV3 yöntemi üzerinde ResNet-18, ResNet34 ve ResNet-50 ile yapılan deneylerde Resnet-18 modelinin en iyi sonuç verdiği görülmüş, bunun sebebinin öznitelik çıkarıcılar arasında alıcı alanı (receptive field) daha düşük olan versiyonun daha iyi performans verdiği görülmüştür. Keza VGG-16 yönteminin de alıcı alanı diğer EfficientNet ve ResNet mimarilerine göre daha düşük olduğu düşünülürse tutarlı olduğu görülmektedir. Bu çalışmada edinilen bir diğer önemli edinim, bina segmentasyonunda etkili kayıp fonksiyonu karşılaştırma deneyleridir. Bu deneylerde görüldüğü üzere ağırlıklandırılmış dice kaybı diğer kayıp fonksiyonundan daha çok katkı sağlamıştır.
Uydu görüntülerinden bina ve obje tespitindeki en büyük zorluklardan biri farklı yakınlık seviyesindekindeki veri kümeleridir. Bu çalışmada hem Seviye-16 hem de Seviye-18 verileri ile eğitilmiş modeller yaklaşık olarak Seviye-15 yakınlığındaki farklı bir bölgede test edilmiştir. Modellerin performanslarında düşüş olmasına rağmen tatmin edici sonuçlar verdiği görülmektedir. Özellikle yakınlık seviyesi daha makul veri kümeleriyle eğitim yapmanın önemi buradan da görmüş bulunmaktayız.
Son olarak son-işlem testlerinde en faydalı yöntemin boyut arttırıp azaltmak olduğunu görülmüştür. Çözünürlük farklılıklarının da bulunması sebebiyle böyle durumlarda hem eğitim sırasında hem de sonrasında test görüntüsü çözünürlüğünün değiştirilmesi test sonuçlarına olumlu katkı sağlayabileceği düşünülmektedir.