Görüntü İşleme

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım III: Sinyal, Görüntü ve Ses
Görüntü nedir?İyileştirmeSüzgeç ve evrişimKenar ve bölütlemeSıkıştırmaKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?

Görüntü işleme, bir görüntüyü alıp yeni bir görüntüye ya da bölgelere dönüştüren yöntemleri inceler: gürültüyü azaltmak, karşıtlığı artırmak, kenarları ve nesne sınırlarını bulmak. Girdi de çıktı da görüntüdür; görüntüde ne olduğunu anlamak bilgisayarlı görünün işidir.

Bir bakışta

Yaklaşım

piksel düzeyinde dönüşüm

Girdi

görüntü

Çıktı

işlenmiş görüntü ya da bölgeler

Başarı ölçütü

görsel kalite, PSNR

Matematik yükü

orta: evrişim, Fourier

Veri ihtiyacı

az; öğrenme şart değil

Giriş

Kısa Tarihçe

1920'ler

Bartlane sistemi gazete fotoğraflarını Atlantik ötesine kabloyla, sayısal kodlanmış olarak iletir.

1957

Russell Kirsch ilk sayısal taranmış fotoğrafı oluşturur: bebek oğlunun 176×176 piksellik görüntüsü.

1964

JPL, Ranger 7 sondasının Ay görüntülerini bilgisayarla düzeltir; sayısal görüntü işleme doğar.

1979

Otsu, histogramdan otomatik eşik seçen yöntemini yayımlar; bugün de en çok kullanılan eşikleme.

1986

Canny kenar bulucusu yayımlanır: gürültüye dayanıklı, ince ve sürekli kenarlar.

1992

JPEG standardı kabul edilir; DCT tabanlı kayıplı sıkıştırma fotoğrafın ortak dili olur.

Ders

Temel Kavramlar

Piksel ve kanal

Görüntü bir sayı matrisidir; renkte üç kanal.

Histogram

Parlaklık dağılımı; histogram eşitleme ile karşıtlık.

Uzamsal süzgeç

Komşu piksellerle evrişim: bulanıklaştırma, keskinleştirme.

Frekans uzayı

2B Fourier dönüşümü; periyodik gürültüyü süzme.

Kenar bulma

Gradyan, Sobel ve Canny ile parlaklık sıçramaları.

Eşikleme

Ön planı arka plandan ayırmak; Otsu yöntemi.

Morfoloji

Aşındırma, genişletme: ikili şekilleri düzeltme.

Bölütleme

Görüntüyü bölgelere ayırmak: bölge büyütme, havza.

Ders

Tipik İş Akışı

Edinkamera,tarayıcıÖn işlegürültü,karşıtlıkDönüştürsüzgeç,FourierBölütleeşik, kenar,bölgeGörüntüçıktısıtemiz görüntüya da maske
Örnek: Taranmış eski bir belge önce medyan süzgeçle lekelerden arındırılır, histogram eşitleme ile karşıtlığı artırılır, Otsu eşiğiyle siyah-beyaza çevrilir ve morfolojik işlemlerle harfler düzeltilir. Çıktı temiz bir görüntüdür; harfleri okumak ise bilgisayarlı görünün işidir.

Ders

Derste Neler İşlenir?

  1. Görüntü oluşumu, örnekleme ve nicemleme
  2. Nokta işlemleri ve histogram eşitleme
  3. Uzamsal süzgeçler: yumuşatma ve keskinleştirme
  4. 2B Fourier dönüşümü ve frekans uzayında süzme
  5. Görüntü onarımı: gürültü modelleri, Wiener süzgeci
  6. Renk uzayları ve renkli görüntü işleme
  7. Geometrik dönüşümler ve ara değerleme
  8. Kenar bulma: gradyan, Sobel, Canny
  9. Eşikleme ve Otsu yöntemi
  10. Morfolojik işlemler
  11. Bölütleme: bölge büyütme, havza, bileşen etiketleme
  12. Görüntü sıkıştırma: DCT ve JPEG

Kazandırdığı beceriler

OpenCV ile görüntü işlem hattı kurmakscikit-image ile bölütlemesüzgeç ve çekirdek tasarlamakhistogram ve spektrum yorumlamakImageJ ile ölçüm yapmak

Tipik bir dönemin akışıdır; sıra ve kapsam üniversiteden üniversiteye değişir.

Dene

Gürültülü Görüntüde Kenar Bulmak

Kalite kontrol kamerası 32×32 gri tonlu bir parça görüntüsü verdi; sensör gürültülü. Adımları açıp kapatın, eşiği kaydırın: bulunan kenarların ne kadarı gerçekten şeklin sınırında?

Her adım gerçek bir 3×3 evrişim. Bulanıklaştırıp eşiği biraz düşürün: gürültü kenarları azalır, F1 artar.
Görüntü işlemede girdi de çıktı da görüntüdür: süzgeçler pikselleri dönüştürür, karar vermez. Ders, hangi çekirdeğin ne yaptığını ve adımların sırasının sonucu nasıl değiştirdiğini öğretir.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Sayısal Sinyal İşlemeiki boyutlu sinyal, evrişim, Fourier dönüşümü
Doğrusal cebir ve analizmatris işlemleri, türev ve gradyan: süzgeç ve kenarın dili
ProgramlamaPython ya da C ile iki boyutlu dizilerde döngüler
Veri Yapılarıkuyruk ve birleşim-bul: bölge büyütme ve bağlı bileşen etiketleme

Konum

Bu Ders Sana Göre mi?

Kendine sor; "hayır" dediklerin için sağdaki sütun nereden başlayacağını gösterir.

Kendine sorHayırsa önce
Bir matrisin her elemanını iç içe döngüyle gezebiliyor musun?Programlamaya giriş, ardından NumPy'a kısa bir giriş
Kısmi türevin ve gradyanın ne olduğunu açıklayabiliyor musun?Analiz dersindeki türev ve kısmi türev konuları
Matris çarpımı ve vektör iç çarpımı yapabiliyor musun?Doğrusal Cebir
Bir sinyalin frekans bileşenlerinin ne olduğunu açıklayabiliyor musun?Sayısal Sinyal İşleme
Çoğuna "evet" diyebiliyorsan derse hazırsın; bir ya da iki "hayır" dönem içinde kapanabilir.

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Sayısal Sinyal İşleme dersini temel alıriki boyutlu sinyal, evrişim, Fourier dönüşümü
temel alırBilgisayarlı Görü bu dersi temel alırkenar, filtre, bölütleme
uygulamaTıbbi Görüntü İşleme bu dersin yöntemlerini uygulargürültü giderme, bölütleme, çakıştırma
uygulamaUzaktan Algılama bu dersin yöntemlerini uygularçok bantlı görüntü, düzeltme
yöntem paylaşırÖrüntü Tanıma ile yöntem paylaşıröznitelik çıkarma, şablon eşleme

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütGörüntü İşlemeBilgisayarlı GörüSayısal Sinyal İşleme
Temel soruBir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?Bilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar?Örneklenmiş sinyaller nasıl çözümlenir, süzülür ve dönüştürülür?
Yaklaşımpiksel düzeyinde dönüşümgörüntüden anlam çıkarmamatematiksel dönüşüm ve süzgeç
Girdigörüntügörüntü ya da videoörneklenmiş sinyal
Çıktıişlenmiş görüntü ya da bölgeleretiket, kutu, derinlik, 3B yapısüzülmüş sinyal, spektrum
Başarı ölçütügörsel kalite, PSNRdoğruluk, mAP, IoUsinyal-gürültü oranı, frekans yanıtı
Matematik yüküorta: evrişim, Fourieryüksek: geometri, doğrusal cebiryüksek: karmaşık sayı, Fourier
Veri ihtiyacıaz; öğrenme şart değilçok etiketli görüntüöğrenme yok; sinyal yeter
  • Bilgisayarlı Görü: Görüntü işlemede girdi de çıktı da görüntüdür; bilgisayarlı görüde girdi görüntü, çıktı anlamdır: etiket, kutu, derinlik.
  • Sayısal Sinyal İşleme: Sinyal işleme bir boyutlu zaman sinyaliyle çalışır; görüntü işleme aynı evrişim ve Fourier araçlarını iki boyuta taşır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütGörüntü İşlemeBilgisayar GrafiğiTıbbi Görüntü İşleme
Temel soruBir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir?Röntgen, BT ve MR görüntüleri tanıya ve tedaviye nasıl yardım eder?
Yaklaşımpiksel düzeyinde dönüşümgeometri ve ışık benzetimigörüntü işleme ve klinik bilgi
Girdigörüntüsahne: model, ışık, kameraBT, MR, röntgen, ultrason
Çıktıişlenmiş görüntü ya da bölgelergörüntü ya da animasyonbölütleme, ölçüm, tanı önerisi
Başarı ölçütügörsel kalite, PSNRgerçekçilik, kare hızıduyarlılık, özgüllük, Dice
Matematik yüküorta: evrişim, Fourieryüksek: doğrusal cebir, geometriorta-yüksek
Veri ihtiyacıaz; öğrenme şart değilgerekmezaz; etiket pahalı
  • Bilgisayar Grafiği: Grafik sahne tanımından görüntü üretir; görüntü işleme var olan bir görüntüyü alıp dönüştürür.
  • Tıbbi Görüntü İşleme: Tıbbi görüntü işleme bu dersin yöntemlerini BT ve MR gibi tıbbi görüntülere, klinik kısıtlarıyla birlikte uygular.

Uygulama

Uygulama Alanları

Fotoğraf düzenleme

Parlaklık, keskinlik, gürültü azaltma.

Belge tarama

Eğriliği düzeltme, siyah-beyaza çevirme.

Sıkıştırma

JPEG, PNG ve video kodlama.

Endüstriyel denetim

Üründe çizik ve leke bölgelerini ayırmak.

Mikroskopi

Hücreleri bölütleme ve sayma.

Ön işleme

Görü ve tıbbi modellere temiz girdi.

Uygulama

Riskler ve Etik

Görüntü sahteciliği

Aynı araçlar fotoğraftan nesne silmeye ya da eklemeye yarar; düzenlenmiş görüntü kanıt diye sunulabilir.

Bozulan kanıt

Adli ya da tıbbi görüntüde kayıplı JPEG ve keskinleştirme ayrıntıyı değiştirir; özgün dosya saklanmalıdır.

Uydurma ayrıntı

Süper çözünürlük ve gürültü giderme sahnede olmayan ayrıntı üretebilir; bu ayrıntı gerçek sanılabilir.

Elle ayarlanmış eşik

Tek bir görüntüye bakılarak seçilen eşik ve parametreler, ışık değişince sessizce başarısız olur.

Ayrıntılı tartışma: Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

OpenCVscikit-imagePillowImageJ / FijiMATLAB Image Processing ToolboxGIMP

Klasik test görüntüleri ve veri setleri

USC-SIPI test görüntüleriKodak görüntü setiBSDS500 (Berkeley bölütleme)DIV2K (süper çözünürlük)Cameraman ve Peppers
Görüntü işlemede çoğu zaman tek bir görüntü yeter: yöntem önceden tanımlıdır, veriden öğrenilmez. Büyük etiketli veri setleri bilgisayarlı görünün ihtiyacıdır.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Görüntü işleme ile bilgisayarlı görü aynı şeydir.Görüntü işleme görüntüyü dönüştürür; görü görüntüden anlam çıkarır. Biri ötekinin ön adımıdır.
Keskinleştirme kaybolan ayrıntıyı geri getirir.Keskinleştirme var olan kenarları belirginleştirir; kaydedilmemiş ayrıntı geri gelmez.
Artık her şeyi derin öğrenme yapıyor.Kalibrasyon, sıkıştırma, ön işleme ve hızlı endüstriyel denetimde klasik yöntemler hâlâ esastır.
Görüntüyü büyütmek çözünürlüğü artırır.Ara değerleme yeni piksel üretir ama yeni bilgi üretmez; görüntü yalnızca büyür.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Görüntü işleme mühendisiGömülü görü mühendisiKalite kontrol sistemleri mühendisiBiyomedikal görüntüleme uzmanı
Görüntü işleme, görüntüyle çalışan bütün derslerin ortak ön adımıdır. Görüntüden anlam çıkarmak için bilgisayarlı görüye, uygulamaya yönelmek için tıbbi görüntü işleme ya da uzaktan algılamaya geçilir. Ters yönde, görüntü üretmeyi bilgisayar grafiği inceler.

Sonrası

Kaynaklar

  • Gonzalez ve Woods, Digital Image Processing, 4. baskı, Pearson, 2018.
  • Jain, Fundamentals of Digital Image Processing, Prentice Hall, 1989.
  • Burger ve Burge, Digital Image Processing: An Algorithmic Introduction, 3. baskı, Springer, 2022.
  • Canny, "A Computational Approach to Edge Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence 8(6), 1986.

Son

Bölüm 17: Görüntü İşleme
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.