GPU Programlama ve Paralel Hesaplama

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım VI: Sistem ve Uygulama
CPU ve GPUİş parçacığı modeliBellek hiyerarşisiParalel desenlerBaşarım ölçümüKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Binlerce çekirdek aynı hesabı nasıl paylaşır?

GPU programlama, aynı işlemi binlerce veri öğesine aynı anda uygulayan veri paralel hesaplamayı inceler. Ders CUDA gibi bir model üzerinden iş parçacıklarını düzenlemeyi, bellek hiyerarşisini verimli kullanmayı ve hızlanmayı ölçmeyi öğretir; derin öğrenmeyi pratikte mümkün kılan da bu donanımdır.

Bir bakışta

Yaklaşım

veri paralel hesaplama

Girdi

paralelleştirilebilir algoritma

Çıktı

hızlandırılmış program

Başarı ölçütü

hızlanma, bellek bant genişliği

Matematik yükü

düşük-orta

Veri ihtiyacı

gerekmez

Giriş

Kısa Tarihçe

1966

Flynn bilgisayarları SISD, SIMD, MISD ve MIMD olarak sınıflandırır.

1967

Amdahl, sıralı kalan kısmın paralel hızlanmayı sınırladığını gösterir (Amdahl yasası).

1999

NVIDIA GeForce 256, "GPU" adıyla piyasaya çıkar.

2007

NVIDIA CUDA'yı yayımlar: GPU, C benzeri bir dille genel amaçlı programlanabilir olur.

2012

AlexNet iki GPU üzerinde eğitilip ImageNet'i kazanır; GPU derin öğrenmenin motoru olur.

2017

Volta mimarisi tensör çekirdeklerini getirir: matris çarpımına özel donanım birimleri.

Ders

Temel Kavramlar

SIMT ve warp

32 iş parçacığı aynı komutu birlikte yürütür.

İş parçacığı düzeni

Izgara (grid), blok ve iş parçacığı hiyerarşisi.

Bellek hiyerarşisi

Yazmaç, paylaşılan bellek, global bellek.

Birleşik erişim

Komşu iş parçacıkları komşu adreslere erişmeli.

Eşzamanlama

Bariyer, atomik işlemler ve yarış durumu.

Amdahl yasası

Sıralı kalan kısım hızlanmanın üst sınırını koyar.

Doluluk

Çekirdekleri meşgul tutacak kadar iş parçacığı.

Paralel desenler

Map, indirgeme, önek toplamı, stencil.

Ders

Tipik İş Akışı

Paralellikbulveri paraleldöngülerVeriyiaktarCPU → GPUbelleğiÇekirdeğibaşlatızgara, blok,iş parçacığıSonucugetirGPU → CPUÖlç veiyileştirprofil,bellek erişimi
Örnek: İki milyon elemanlı iki vektörü toplamak için her elemana bir iş parçacığı atanır: diziler GPU belleğine kopyalanır, 256 iş parçacıklı bloklarla çekirdek başlatılır ve sonuç geri alınır. Ölçüm çoğu zaman sürenin hesapta değil, veri kopyalamada geçtiğini gösterir.

Dene

Binlerce Sayıyı Birlikte Topla

Bir ağın kaybını hesaplamak için milyonlarca sayı toplanır; GPU bunu ağaç biçiminde, çiftleri aynı anda toplayarak yapar. İş parçacığı sayısını değiştirin, adım adım izleyin; Amdahl yasası sınırı gösterir.

Paralel programlama dersi, işi bağımsız parçalara bölmeyi öğretir: n sayının toplamı log n adımda biter. Ama seri kalan küçük bir kısım bile hızlanmanın tavanını belirler.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
C ile Programlamaişaretçiler, diziler ve bellek ayırma: CUDA C'nin temeli
İşletim Sistemleriiş parçacıkları, eşzamanlama ve yarış durumu
Mikroişlemcileryazmaç, önbellek ve bellek hiyerarşisi

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırDerin Öğrenme bu dersi temel alırbüyük ağların paralel eğitimi, tensör işlemleri
yöntem paylaşırBilgisayar Grafiği ile yöntem paylaşırgrafik boru hattı, gölgelendiriciler
yöntem paylaşırBüyük Veri Sistemleri ile yöntem paylaşırparalel ve dağıtık hesaplama
yöntem paylaşırGömülü Yapay Zekâ ile yöntem paylaşırdonanım hızlandırıcılar

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütGPU ve Paralel HesaplamaDerin ÖğrenmeBüyük Veri
Temel soruBinlerce çekirdek aynı hesabı nasıl paylaşır?Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?Tek bir makineye sığmayan veri nasıl saklanır ve işlenir?
Yaklaşımveri paralel hesaplamaçok katmanlı temsil öğrenmedağıtık depolama ve hesaplama
Girdiparalelleştirilebilir algoritmaham veri: görüntü, metin, sesçok büyük ve hızlı akan veri
Çıktıhızlandırılmış programöğrenilmiş temsil ve tahminişlenmiş veri, sorgu sonucu
Başarı ölçütühızlanma, bellek bant genişliğidoğruluk, kayıp, ölçeklenmeölçeklenme, gecikme, maliyet
Matematik yüküdüşük-ortayüksek: türev, matris, olasılıkdüşük
Veri ihtiyacıgerekmezçok; GPU gerekirçok fazla
  • Derin Öğrenme: Derin öğrenme GPU'yu hazır kütüphanelerle kullanır; bu ders o kütüphanelerin altındaki çekirdekleri ve bellek erişimini yazar.
  • Büyük Veri: Büyük veri sistemleri işi çok sayıda makineye dağıtır; bu ders tek bir cihazdaki binlerce çekirdeği verimli kullanır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütGPU ve Paralel HesaplamaBilgisayar GrafiğiGömülü YZ
Temel soruBinlerce çekirdek aynı hesabı nasıl paylaşır?Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir?Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır?
Yaklaşımveri paralel hesaplamageometri ve ışık benzetimikaynağı kısıtlı çıkarım
Girdiparalelleştirilebilir algoritmasahne: model, ışık, kameraeğitilmiş model, cihaz kısıtları
Çıktıhızlandırılmış programgörüntü ya da animasyonküçük ve hızlı model
Başarı ölçütühızlanma, bellek bant genişliğigerçekçilik, kare hızıgecikme, enerji, bellek
Matematik yüküdüşük-ortayüksek: doğrusal cebir, geometriorta
Veri ihtiyacıgerekmezgerekmezeğitim verisi zaten var
  • Bilgisayar Grafiği: Bilgisayar grafiği GPU'yu gölgelendiricilerle görüntü çizmek için programlar; bu ders onu genel amaçlı hesap için kullanır.
  • Gömülü YZ: Gömülü YZ az güçle yetinmeyi öğretir; bu ders en büyük hızlandırıcıdan en yüksek başarımı almayı öğretir.

Uygulama

Uygulama Alanları

Derin öğrenme

Matris çarpımı ve evrişim tensör çekirdeklerinde.

Bilimsel benzetim

Akışkanlar, iklim ve moleküler dinamik.

Görüntü ve video

Gerçek zamanlı süzgeçler, kodlama ve çözme.

Finans

Monte Carlo ile risk ve fiyatlama hesabı.

Biyoenformatik

Dizi hizalama ve protein yapısı hesapları.

Veri analitiği

GPU üzerinde tablo ve veri tabanı işlemleri.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

CUDAOpenCLOpenMPMPINumbaCuPyNVIDIA Nsight

Klasik örnek problemler

Vektör toplamaMatris çarpımıParalel indirgemeÖnek toplamı (tarama)HistogramN-cisim benzetimi
Ölçüt hızlanmadır: aynı problemin sıralı CPU sürümü ile paralel GPU sürümü aynı girdide karşılaştırılır.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
GPU her programı hızlandırır.Yalnız çok sayıda bağımsız ve benzer işlem içeren kısımlar hızlanır; dallanan ve sıralı kısımlar hızlanmaz.
Çekirdek sayısı iki katına çıkınca süre yarıya iner.Amdahl yasası: sıralı kalan kısım, elde edilebilecek hızlanmanın üst sınırını belirler.
En pahalı iş hesaptır.Çoğu GPU programında darboğaz bellek bant genişliği ve CPU ile GPU arasındaki veri aktarımıdır.
Paralel programlama yalnız derin öğrenme içindir.Benzetim, grafik ve bilimsel hesap GPU'yu derin öğrenmeden önce de kullanıyordu.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

GPU yazılım mühendisiYüksek başarımlı hesaplama (HPC) uzmanıMÖ altyapı mühendisiOyun ve grafik motoru geliştiricisiBilimsel hesaplama araştırmacısı
GPU programlama, derin öğrenmenin ve grafiğin altındaki motoru açar. Buradan dağıtık eğitim, derleyiciler ve hızlandırıcı tasarımı gibi sistem konularına ya da büyük veri sistemleri ve gömülü YZ gibi rehberdeki komşu derslere geçilebilir.

Sonrası

Kaynaklar

  • Kirk, Hwu ve El Hajj, Programming Massively Parallel Processors, 4. baskı, Morgan Kaufmann, 2022.
  • Sanders ve Kandrot, CUDA by Example, Addison-Wesley, 2010.
  • Hennessy ve Patterson, Computer Architecture: A Quantitative Approach, 6. baskı, Morgan Kaufmann, 2017.
  • Amdahl, "Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities", AFIPS Conference Proceedings 30, 1967.

Son

Bölüm 37: GPU Programlama ve Paralel Hesaplama
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.