Bilgisayarlı Görü

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım III: Sinyal, Görüntü ve Ses
Görüntüden anlamÖzniteliklerTanıma ve nesne bulmaKamera ve 3BVideo ve hareketKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar?

Bilgisayarlı görü, bir görüntüden ya da videodan anlam çıkarmayı inceler: hangi nesneler var, nerede, sahne nasıl bir üç boyutlu yapıya sahip. Girdi görüntüdür ama çıktı görüntü değil; etiket, kutu, maske ya da derinliktir. Görüntüyü dönüştürmek görüntü işlemenin işidir.

Bir bakışta

Yaklaşım

görüntüden anlam çıkarma

Girdi

görüntü ya da video

Çıktı

etiket, kutu, derinlik, 3B yapı

Başarı ölçütü

doğruluk, mAP, IoU

Matematik yükü

yüksek: geometri, doğrusal cebir

Veri ihtiyacı

çok etiketli görüntü

Giriş

Kısa Tarihçe

1963

Larry Roberts'ın doktora tezi, çizgi çizimlerinden üç boyutlu blokları çıkarır: alanın ilk çalışması.

1966

MIT'de "Summer Vision Project": görünün bir yaz projesiyle çözülebileceği düşünülür; çözülmez.

1982

Marr'ın Vision kitabı yayımlanır: görüyü katmanlı bir hesaplama süreci olarak tanımlar.

1999

Lowe SIFT özniteliklerini tanıtır: ölçek ve dönmeden etkilenmeyen yerel nokta eşleme.

2001

Viola ve Jones gerçek zamanlı yüz bulucuyu yayımlar; dijital fotoğraf makinelerine girer.

2012

AlexNet ImageNet yarışmasını büyük farkla kazanır; görüde derin öğrenme dönemi başlar.

Ders

Temel Kavramlar

Yerel öznitelikler

Köşe ve anahtar noktalar: Harris, SIFT, ORB.

Sınıflandırma

Görüntünün bütününe etiket vermek: "kedi".

Nesne bulma

Her nesneye kutu ve etiket: YOLO, Faster R-CNN.

Anlamsal bölütleme

Her piksele bir sınıf: yol, yaya, araç.

Kamera modeli

İğne deliği modeli, kalibrasyon, iç ve dış parametre.

Çoklu görüş

Stereo, epipolar geometri, hareketten yapı.

Hareket ve izleme

Optik akış; videoda nesneyi kareden kareye izleme.

Evrişimli ağlar

CNN ve görüntü dönüştürücüleri (ViT).

Ders

Tipik İş Akışı

Görüntüalkamera,videoÖn işlegörüntü işlemeadımlarıTemsilçıkaröznitelik,CNNYorumlasınıf, kutu,derinlikKarar verfren, alarm,sayım
Örnek: Sürücü destek sistemi ön kameradan kare alır, parlaklığı dengeler, evrişimli bir ağla öznitelik çıkarır ve yayaları kutularla işaretler; stereo kameradan uzaklıklarını da kestirir. Çıktı bir görüntü değil, "8 metrede yaya var" bilgisidir; sistem buna göre fren uyarısı verir.

Dene

Görüntüde Halkaları Bul

Bir montaj hattında kamera, bantta duran contaları (halka biçimli) saymalı. Şablon her konuma kaydırılıp benzerliği ölçülüyor. Güven eşiğini ve bastırmayı değiştirip kutuların doğruluğuna bakın.

12×12 şablon
Görüntü işleme görüntüyü dönüştürür; bilgisayarlı görü ondan karar çıkarır: kutu, etiket, güven. Ders, tespiti IoU, doğru/yanlış tespit ve eşik seçimiyle ölçmeyi öğretir.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Görüntü İşlemekenar, filtre, bölütleme
Doğrusal cebirmatris, öz değer ve izdüşüm: kamera geometrisinin dili
ProgramlamaPython ile dizi işlemleri ve kütüphane kullanımı
Algoritmalararama, eşleme ve karmaşıklık: öznitelik eşleme ve izleme

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Görüntü İşleme dersini temel alırkenar, filtre, bölütleme
uygulamaTıbbi Görüntü İşleme bu dersin yöntemlerini uygularlezyon bulma, sınıflandırma
uygulamaUzaktan Algılama bu dersin yöntemlerini uygulararazi sınıflandırma, değişim tespiti
uygulamaBiyometrik Sistemler bu dersin yöntemlerini uygularyüz tanıma
yöntem paylaşırDerin Öğrenme ile yöntem paylaşırevrişimli sinir ağları, görüntü dönüştürücüleri
yöntem paylaşırÖrüntü Tanıma ile yöntem paylaşırnesne sınıflandırma
yöntem paylaşırBilgisayar Grafiği ile yöntem paylaşırkamera modeli; grafik sahneden görüntü, görü görüntüden sahne
yöntem paylaşırRobotik ve Robot Görüsü ile yöntem paylaşırrobot görüsü, SLAM

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütBilgisayarlı GörüGörüntü İşlemeDerin Öğrenme
Temel soruBilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar?Bir görüntü nasıl iyileştirilir, dönüştürülür ve parçalara ayrılır?Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?
Yaklaşımgörüntüden anlam çıkarmapiksel düzeyinde dönüşümçok katmanlı temsil öğrenme
Girdigörüntü ya da videogörüntüham veri: görüntü, metin, ses
Çıktıetiket, kutu, derinlik, 3B yapıişlenmiş görüntü ya da bölgeleröğrenilmiş temsil ve tahmin
Başarı ölçütüdoğruluk, mAP, IoUgörsel kalite, PSNRdoğruluk, kayıp, ölçeklenme
Matematik yüküyüksek: geometri, doğrusal cebirorta: evrişim, Fourieryüksek: türev, matris, olasılık
Veri ihtiyacıçok etiketli görüntüaz; öğrenme şart değilçok; GPU gerekir
  • Görüntü İşleme: Görüntü işlemede girdi de çıktı da görüntüdür; bilgisayarlı görüde girdi görüntü, çıktı anlamdır: etiket, kutu, derinlik.
  • Derin Öğrenme: Derin öğrenme genel bir araçtır; görü onu kamera geometrisi, çoklu görüş ve hareket bilgisiyle birlikte kullanır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütBilgisayarlı GörüBilgisayar GrafiğiÖrüntü Tanıma
Temel soruBilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar?Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir?Ölçümlerden bir nesnenin hangi sınıfa ait olduğuna nasıl karar verilir?
Yaklaşımgörüntüden anlam çıkarmageometri ve ışık benzetimiistatistiksel karar kuramı
Girdigörüntü ya da videosahne: model, ışık, kameraölçüm ya da öznitelik vektörü
Çıktıetiket, kutu, derinlik, 3B yapıgörüntü ya da animasyonsınıf etiketi
Başarı ölçütüdoğruluk, mAP, IoUgerçekçilik, kare hızısınıflandırma hatası
Matematik yüküyüksek: geometri, doğrusal cebiryüksek: doğrusal cebir, geometriorta-yüksek: olasılık, doğrusal cebir
Veri ihtiyacıçok etiketli görüntügerekmezetiketli örnekler
  • Bilgisayar Grafiği: Grafik sahne tanımından görüntü üretir; görü tersini yapar, görüntüden sahneyi kurmaya çalışır.
  • Örüntü Tanıma: Örüntü tanıma her tür ölçümü sınıflandırır; görü sınıflandırmayı uzamsal yapı, konum ve 3B ile birlikte ele alır.

Uygulama

Uygulama Alanları

Otonom sürüş

Şerit, yaya ve trafik işareti algılama.

Yüz tanıma

Telefon kilidi, geçiş kontrolü.

Perakende

Kasasız mağaza, raf takibi.

Artırılmış gerçeklik

Kameranın konumunu bulup sahneye nesne eklemek.

Endüstri

Hatalı ürünü tanıyıp hattan ayırmak.

Spor analizi

Oyuncu ve top izleme, istatistik.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

OpenCVPyTorch / torchvisionUltralytics YOLODetectron2COLMAPOpen3D

Tanınmış veri setleri

ImageNetCOCOPASCAL VOCKITTICityscapesADE20K
Görü, görüntü işlemenin aksine çok sayıda etiketli görüntüye ihtiyaç duyar; COCO'da her nesne için kutu ve maske elle çizilmiştir.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Bilgisayarlı görü, görüntü işlemenin başka adıdır.Görüntü işleme görüntüyü dönüştürür; görü görüntüden anlam çıkarır. Görü, görüntü işlemeyi ön adım olarak kullanır.
Görü artık çözülmüş bir problemdir.Ağlar, eğitim verisinden farklı ışık, hava ya da kamerada hâlâ belirgin biçimde yanılabilir.
Görü yalnızca derin öğrenmedir.Kalibrasyon, stereo, SLAM ve 3B yeniden yapılandırma büyük ölçüde geometriye dayanır.
Model nesneyi insan gibi "görür".Ağlar dokuya ve bağlama aşırı güvenebilir; küçük bir piksel değişikliği kararı çevirebilir.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Bilgisayarlı görü mühendisiOtonom sistemler mühendisiAR/VR geliştiricisiRobotik algı mühendisiAraştırmacı
Bilgisayarlı görü üçüncü kısmın merkezidir: robotik, biyometri, tıbbi görüntü işleme ve uzaktan algılama onun yöntemlerini kendi alanlarına uygular. Derinleşmek için derin öğrenme ve üretken modeller, geometri tarafında bilgisayar grafiği ve robotik ile devam edilebilir.

Sonrası

Kaynaklar

  • Szeliski, Computer Vision: Algorithms and Applications, 2. baskı, Springer, 2022.
  • Hartley ve Zisserman, Multiple View Geometry in Computer Vision, 2. baskı, Cambridge University Press, 2004.
  • Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, 2012.
  • Marr, Vision, W. H. Freeman, 1982.

Son

Bölüm 18: Bilgisayarlı Görü
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.