Görüntü İşleme

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım III: Sinyal, Görüntü ve Ses
Görüntü nedir?İyileştirmeSüzgeç ve evrişimKenar ve bölütlemeSıkıştırmaKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?

Görüntü işleme, bir görüntüyü alıp yeni bir görüntüye ya da bölgelere dönüştüren yöntemleri inceler: gürültüyü azaltmak, karşıtlığı artırmak, kenarları ve nesne sınırlarını bulmak. Girdi de çıktı da görüntüdür; görüntüde ne olduğunu anlamak bilgisayarlı görünün işidir.

Bir bakışta

Yaklaşım

piksel düzeyinde dönüşüm

Girdi

görüntü

Çıktı

işlenmiş görüntü ya da bölgeler

Başarı ölçütü

görsel kalite, PSNR

Matematik yükü

orta: evrişim, Fourier

Veri ihtiyacı

az; öğrenme şart değil

Giriş

Kısa Tarihçe

1920'ler

Bartlane sistemi gazete fotoğraflarını Atlantik ötesine kabloyla, sayısal kodlanmış olarak iletir.

1957

Russell Kirsch ilk sayısal taranmış fotoğrafı oluşturur: bebek oğlunun 176×176 piksellik görüntüsü.

1964

JPL, Ranger 7 sondasının Ay görüntülerini bilgisayarla düzeltir; sayısal görüntü işleme doğar.

1979

Otsu, histogramdan otomatik eşik seçen yöntemini yayımlar; bugün de en çok kullanılan eşikleme.

1986

Canny kenar bulucusu yayımlanır: gürültüye dayanıklı, ince ve sürekli kenarlar.

1992

JPEG standardı kabul edilir; DCT tabanlı kayıplı sıkıştırma fotoğrafın ortak dili olur.

Ders

Temel Kavramlar

Piksel ve kanal

Görüntü bir sayı matrisidir; renkte üç kanal.

Histogram

Parlaklık dağılımı; histogram eşitleme ile karşıtlık.

Uzamsal süzgeç

Komşu piksellerle evrişim: bulanıklaştırma, keskinleştirme.

Frekans uzayı

2B Fourier dönüşümü; periyodik gürültüyü süzme.

Kenar bulma

Gradyan, Sobel ve Canny ile parlaklık sıçramaları.

Eşikleme

Ön planı arka plandan ayırmak; Otsu yöntemi.

Morfoloji

Aşındırma, genişletme: ikili şekilleri düzeltme.

Bölütleme

Görüntüyü bölgelere ayırmak: bölge büyütme, havza.

Ders

Tipik İş Akışı

Edinkamera,tarayıcıÖn işlegürültü,karşıtlıkDönüştürsüzgeç,FourierBölütleeşik, kenar,bölgeGörüntüçıktısıtemiz görüntüya da maske
Örnek: Taranmış eski bir belge önce medyan süzgeçle lekelerden arındırılır, histogram eşitleme ile karşıtlığı artırılır, Otsu eşiğiyle siyah-beyaza çevrilir ve morfolojik işlemlerle harfler düzeltilir. Çıktı temiz bir görüntüdür; harfleri okumak ise bilgisayarlı görünün işidir.

Dene

Gürültülü Görüntüde Kenar Bulmak

Kalite kontrol kamerası 32×32 gri tonlu bir parça görüntüsü verdi; sensör gürültülü. Adımları açıp kapatın, eşiği kaydırın: bulunan kenarların ne kadarı gerçekten şeklin sınırında?

Her adım gerçek bir 3×3 evrişim. Bulanıklaştırıp eşiği biraz düşürün: gürültü kenarları azalır, F1 artar.
Görüntü işlemede girdi de çıktı da görüntüdür: süzgeçler pikselleri dönüştürür, karar vermez. Ders, hangi çekirdeğin ne yaptığını ve adımların sırasının sonucu nasıl değiştirdiğini öğretir.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Sayısal Sinyal İşlemeiki boyutlu sinyal, evrişim, Fourier dönüşümü
Doğrusal cebir ve analizmatris işlemleri, türev ve gradyan: süzgeç ve kenarın dili
ProgramlamaPython ya da C ile iki boyutlu dizilerde döngüler
Veri Yapılarıkuyruk ve birleşim-bul: bölge büyütme ve bağlı bileşen etiketleme

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Sayısal Sinyal İşleme dersini temel alıriki boyutlu sinyal, evrişim, Fourier dönüşümü
temel alırBilgisayarlı Görü bu dersi temel alırkenar, filtre, bölütleme
uygulamaTıbbi Görüntü İşleme bu dersin yöntemlerini uygulargürültü giderme, bölütleme, çakıştırma
uygulamaUzaktan Algılama bu dersin yöntemlerini uygularçok bantlı görüntü, düzeltme
yöntem paylaşırÖrüntü Tanıma ile yöntem paylaşıröznitelik çıkarma, şablon eşleme

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütGörüntü İşlemeBilgisayarlı GörüSayısal Sinyal İşleme
Temel soruBir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?Bilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar?Örneklenmiş sinyaller nasıl çözümlenir, süzülür ve dönüştürülür?
Yaklaşımpiksel düzeyinde dönüşümgörüntüden anlam çıkarmamatematiksel dönüşüm ve süzgeç
Girdigörüntügörüntü ya da videoörneklenmiş sinyal
Çıktıişlenmiş görüntü ya da bölgeleretiket, kutu, derinlik, 3B yapısüzülmüş sinyal, spektrum
Başarı ölçütügörsel kalite, PSNRdoğruluk, mAP, IoUsinyal-gürültü oranı, frekans yanıtı
Matematik yüküorta: evrişim, Fourieryüksek: geometri, doğrusal cebiryüksek: karmaşık sayı, Fourier
Veri ihtiyacıaz; öğrenme şart değilçok etiketli görüntüöğrenme yok; sinyal yeter
  • Bilgisayarlı Görü: Görüntü işlemede girdi de çıktı da görüntüdür; bilgisayarlı görüde girdi görüntü, çıktı anlamdır: etiket, kutu, derinlik.
  • Sayısal Sinyal İşleme: Sinyal işleme bir boyutlu zaman sinyaliyle çalışır; görüntü işleme aynı evrişim ve Fourier araçlarını iki boyuta taşır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütGörüntü İşlemeBilgisayar GrafiğiTıbbi Görüntü İşleme
Temel soruBir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir?Röntgen, BT ve MR görüntüleri tanıya ve tedaviye nasıl yardım eder?
Yaklaşımpiksel düzeyinde dönüşümgeometri ve ışık benzetimigörüntü işleme ve klinik bilgi
Girdigörüntüsahne: model, ışık, kameraBT, MR, röntgen, ultrason
Çıktıişlenmiş görüntü ya da bölgelergörüntü ya da animasyonbölütleme, ölçüm, tanı önerisi
Başarı ölçütügörsel kalite, PSNRgerçekçilik, kare hızıduyarlılık, özgüllük, Dice
Matematik yüküorta: evrişim, Fourieryüksek: doğrusal cebir, geometriorta-yüksek
Veri ihtiyacıaz; öğrenme şart değilgerekmezaz; etiket pahalı
  • Bilgisayar Grafiği: Grafik sahne tanımından görüntü üretir; görüntü işleme var olan bir görüntüyü alıp dönüştürür.
  • Tıbbi Görüntü İşleme: Tıbbi görüntü işleme bu dersin yöntemlerini BT ve MR gibi tıbbi görüntülere, klinik kısıtlarıyla birlikte uygular.

Uygulama

Uygulama Alanları

Fotoğraf düzenleme

Parlaklık, keskinlik, gürültü azaltma.

Belge tarama

Eğriliği düzeltme, siyah-beyaza çevirme.

Sıkıştırma

JPEG, PNG ve video kodlama.

Endüstriyel denetim

Üründe çizik ve leke bölgelerini ayırmak.

Mikroskopi

Hücreleri bölütleme ve sayma.

Ön işleme

Görü ve tıbbi modellere temiz girdi.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

OpenCVscikit-imagePillowImageJ / FijiMATLAB Image Processing ToolboxGIMP

Klasik test görüntüleri ve veri setleri

USC-SIPI test görüntüleriKodak görüntü setiBSDS500 (Berkeley bölütleme)DIV2K (süper çözünürlük)Cameraman ve Peppers
Görüntü işlemede çoğu zaman tek bir görüntü yeter: yöntem önceden tanımlıdır, veriden öğrenilmez. Büyük etiketli veri setleri bilgisayarlı görünün ihtiyacıdır.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Görüntü işleme ile bilgisayarlı görü aynı şeydir.Görüntü işleme görüntüyü dönüştürür; görü görüntüden anlam çıkarır. Biri ötekinin ön adımıdır.
Keskinleştirme kaybolan ayrıntıyı geri getirir.Keskinleştirme var olan kenarları belirginleştirir; kaydedilmemiş ayrıntı geri gelmez.
Artık her şeyi derin öğrenme yapıyor.Kalibrasyon, sıkıştırma, ön işleme ve hızlı endüstriyel denetimde klasik yöntemler hâlâ esastır.
Görüntüyü büyütmek çözünürlüğü artırır.Ara değerleme yeni piksel üretir ama yeni bilgi üretmez; görüntü yalnızca büyür.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Görüntü işleme mühendisiGömülü görü mühendisiKalite kontrol sistemleri mühendisiBiyomedikal görüntüleme uzmanı
Görüntü işleme, görüntüyle çalışan bütün derslerin ortak ön adımıdır. Görüntüden anlam çıkarmak için bilgisayarlı görüye, uygulamaya yönelmek için tıbbi görüntü işleme ya da uzaktan algılamaya geçilir. Ters yönde, görüntü üretmeyi bilgisayar grafiği inceler.

Sonrası

Kaynaklar

  • Gonzalez ve Woods, Digital Image Processing, 4. baskı, Pearson, 2018.
  • Jain, Fundamentals of Digital Image Processing, Prentice Hall, 1989.
  • Burger ve Burge, Digital Image Processing: An Algorithmic Introduction, 3. baskı, Springer, 2022.
  • Canny, "A Computational Approach to Edge Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence 8(6), 1986.

Son

Bölüm 17: Görüntü İşleme
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.