GPU Programlama ve Paralel Hesaplama
Giriş
Ders Hangi Soruyu Sorar?
GPU programlama, aynı işlemi binlerce veri öğesine aynı anda uygulayan veri paralel hesaplamayı inceler. Ders CUDA gibi bir model üzerinden iş parçacıklarını düzenlemeyi, bellek hiyerarşisini verimli kullanmayı ve hızlanmayı ölçmeyi öğretir; derin öğrenmeyi pratikte mümkün kılan da bu donanımdır.
Bir bakışta
veri paralel hesaplama
paralelleştirilebilir algoritma
hızlandırılmış program
hızlanma, bellek bant genişliği
düşük-orta
gerekmez
Giriş
Kısa Tarihçe
Flynn bilgisayarları SISD, SIMD, MISD ve MIMD olarak sınıflandırır.
Amdahl, sıralı kalan kısmın paralel hızlanmayı sınırladığını gösterir (Amdahl yasası).
NVIDIA GeForce 256, "GPU" adıyla piyasaya çıkar.
NVIDIA CUDA'yı yayımlar: GPU, C benzeri bir dille genel amaçlı programlanabilir olur.
AlexNet iki GPU üzerinde eğitilip ImageNet'i kazanır; GPU derin öğrenmenin motoru olur.
Volta mimarisi tensör çekirdeklerini getirir: matris çarpımına özel donanım birimleri.
Ders
Temel Kavramlar
32 iş parçacığı aynı komutu birlikte yürütür.
Izgara (grid), blok ve iş parçacığı hiyerarşisi.
Yazmaç, paylaşılan bellek, global bellek.
Komşu iş parçacıkları komşu adreslere erişmeli.
Bariyer, atomik işlemler ve yarış durumu.
Sıralı kalan kısım hızlanmanın üst sınırını koyar.
Çekirdekleri meşgul tutacak kadar iş parçacığı.
Map, indirgeme, önek toplamı, stencil.
Ders
Tipik İş Akışı
Dene
Binlerce Sayıyı Birlikte Topla
Bir ağın kaybını hesaplamak için milyonlarca sayı toplanır; GPU bunu ağaç biçiminde, çiftleri aynı anda toplayarak yapar. İş parçacığı sayısını değiştirin, adım adım izleyin; Amdahl yasası sınırı gösterir.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| C ile Programlama | işaretçiler, diziler ve bellek ayırma: CUDA C'nin temeli |
| İşletim Sistemleri | iş parçacıkları, eşzamanlama ve yarış durumu |
| Mikroişlemciler | yazmaç, önbellek ve bellek hiyerarşisi |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Derin Öğrenme bu dersi temel alır | büyük ağların paralel eğitimi, tensör işlemleri |
| yöntem paylaşır | Bilgisayar Grafiği ile yöntem paylaşır | grafik boru hattı, gölgelendiriciler |
| yöntem paylaşır | Büyük Veri Sistemleri ile yöntem paylaşır | paralel ve dağıtık hesaplama |
| yöntem paylaşır | Gömülü Yapay Zekâ ile yöntem paylaşır | donanım hızlandırıcılar |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | GPU ve Paralel Hesaplama | Derin Öğrenme | Büyük Veri |
|---|---|---|---|
| Temel soru | Binlerce çekirdek aynı hesabı nasıl paylaşır? | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? |
| Yaklaşım | veri paralel hesaplama | çok katmanlı temsil öğrenme | dağıtık depolama ve hesaplama |
| Girdi | paralelleştirilebilir algoritma | ham veri: görüntü, metin, ses | çok büyük ve hızlı akan veri |
| Çıktı | hızlandırılmış program | öğrenilmiş temsil ve tahmin | işlenmiş veri, sorgu sonucu |
| Başarı ölçütü | hızlanma, bellek bant genişliği | doğruluk, kayıp, ölçeklenme | ölçeklenme, gecikme, maliyet |
| Matematik yükü | düşük-orta | yüksek: türev, matris, olasılık | düşük |
| Veri ihtiyacı | gerekmez | çok; GPU gerekir | çok fazla |
- Derin Öğrenme: Derin öğrenme GPU'yu hazır kütüphanelerle kullanır; bu ders o kütüphanelerin altındaki çekirdekleri ve bellek erişimini yazar.
- Büyük Veri: Büyük veri sistemleri işi çok sayıda makineye dağıtır; bu ders tek bir cihazdaki binlerce çekirdeği verimli kullanır.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | GPU ve Paralel Hesaplama | Bilgisayar Grafiği | Gömülü YZ |
|---|---|---|---|
| Temel soru | Binlerce çekirdek aynı hesabı nasıl paylaşır? | Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir? | Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır? |
| Yaklaşım | veri paralel hesaplama | geometri ve ışık benzetimi | kaynağı kısıtlı çıkarım |
| Girdi | paralelleştirilebilir algoritma | sahne: model, ışık, kamera | eğitilmiş model, cihaz kısıtları |
| Çıktı | hızlandırılmış program | görüntü ya da animasyon | küçük ve hızlı model |
| Başarı ölçütü | hızlanma, bellek bant genişliği | gerçekçilik, kare hızı | gecikme, enerji, bellek |
| Matematik yükü | düşük-orta | yüksek: doğrusal cebir, geometri | orta |
| Veri ihtiyacı | gerekmez | gerekmez | eğitim verisi zaten var |
- Bilgisayar Grafiği: Bilgisayar grafiği GPU'yu gölgelendiricilerle görüntü çizmek için programlar; bu ders onu genel amaçlı hesap için kullanır.
- Gömülü YZ: Gömülü YZ az güçle yetinmeyi öğretir; bu ders en büyük hızlandırıcıdan en yüksek başarımı almayı öğretir.
Uygulama
Uygulama Alanları
Matris çarpımı ve evrişim tensör çekirdeklerinde.
Akışkanlar, iklim ve moleküler dinamik.
Gerçek zamanlı süzgeçler, kodlama ve çözme.
Monte Carlo ile risk ve fiyatlama hesabı.
Dizi hizalama ve protein yapısı hesapları.
GPU üzerinde tablo ve veri tabanı işlemleri.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Klasik örnek problemler
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| GPU her programı hızlandırır. | Yalnız çok sayıda bağımsız ve benzer işlem içeren kısımlar hızlanır; dallanan ve sıralı kısımlar hızlanmaz. |
| Çekirdek sayısı iki katına çıkınca süre yarıya iner. | Amdahl yasası: sıralı kalan kısım, elde edilebilecek hızlanmanın üst sınırını belirler. |
| En pahalı iş hesaptır. | Çoğu GPU programında darboğaz bellek bant genişliği ve CPU ile GPU arasındaki veri aktarımıdır. |
| Paralel programlama yalnız derin öğrenme içindir. | Benzetim, grafik ve bilimsel hesap GPU'yu derin öğrenmeden önce de kullanıyordu. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Kirk, Hwu ve El Hajj, Programming Massively Parallel Processors, 4. baskı, Morgan Kaufmann, 2022.
- Sanders ve Kandrot, CUDA by Example, Addison-Wesley, 2010.
- Hennessy ve Patterson, Computer Architecture: A Quantitative Approach, 6. baskı, Morgan Kaufmann, 2017.
- Amdahl, "Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities", AFIPS Conference Proceedings 30, 1967.