Giriş

Öğrenme Çıktıları

Giriş

Birlikte Daha Hızlı

Giriş

Paralel Algoritmalar

Giriş

Dezavantajlar ve Zorluklar

Giriş

Uygulama Alanları

Modeller ve Ölçütler

Flynn Sınıflandırması

Modeller ve Ölçütler

Bellek Mimarileri

Modeller ve Ölçütler

PRAM Modeli

Modeller ve Ölçütler

Hızlanma, Verim, Maliyet

Modeller ve Ölçütler

Amdahl Yasası

Modeller ve Ölçütler

İş ve Derinlik

PRAM ile Toplama

Problem: Paralel Toplama

• Girdi: n sayı; çıktı: toplamları. Sıralı algoritma n − 1 toplama yapar: O(n).
• Sıralı döngüde her toplama bir öncekini bekler: zincir uzunluğu n − 1, paralellik yok.
• Toplama birleşmeli (associative) olduğu için parantezleri değiştirebiliriz:
  ((2 + 3) + (5 + 1)) + ((7 + 6) + (8 + 4)) → dengeli bir ikili ağaç.
• Ağacın her düzeyindeki toplamlar birbirinden bağımsızdır → aynı turda paralel yapılır.
• Aynı fikir her birleşmeli işlem için çalışır: max, min, çarpım, AND, OR (indirgeme, reduction).

PRAM ile Toplama · Adım adım

PRAM Toplama Adım Adım

PRAM ile Toplama · Kodu adım adım çalıştır

Ağaç Toplamı: Kodu Adım Adım İzle

int[] a = {2, 3, 5, 1, 7, 6, 8, 4};
int n = a.length;
for (int adim = 1; adim < n; adim *= 2) {
  // aynı turdaki tüm i'ler paralel
  for (int i = 0; i + adim < n; i += 2 * adim)
    a[i] = a[i] + a[i + adim];
}  // tur sonu: senkronizasyon
// toplam a[0]'da

PRAM ile Toplama

PRAM Toplama: Analiz

• Turlar ilerledikçe çalışan işlemci sayısı yarıya iner (4, 2, 1): çoğu işlemci boşta bekler, maliyet yüksektir.
• Çözüm: her işlemci önce kendi log₂ n'lik bloğunu sıralı toplar (O(log n)), sonra n / log₂ n kısmi toplam ağaçla birleştirilir (O(log n)).
• EREW yeterlidir: bir turda her hücreyi tek işlemci okur/yazar. Her tur sonunda bir senkronizasyon (bariyer) gerekir.

PRAM ile Toplama

Paralel Önek Toplamı

• Önek toplamı (prefix sum, scan): yᵢ = x₀ + x₁ + … + xᵢ.
• Sıralı: yᵢ = yᵢ₋₁ + xᵢ, O(n) ama tamamen zincirleme.
• Hillis–Steele: d = 1, 2, 4, … için her i ≥ d paralel olarak x[i] += x[i − d].
• D = ⌈log₂ n⌉ tur, W = O(n log n) → iş-verimli değil.
• Blelloch algoritması (yukarı/aşağı süpürme) W = O(n), D = O(log n).
• Kullanım: paralel sıralama, sıkıştırma (filter), Java'da Arrays.parallelPrefix.

PRAM ile Toplama · Adım adım

Hillis–Steele Önek Toplamı Adım Adım

Boru Hattı

Boru Hattı Fikri

• Boru hattı (pipeline): iş, ardışık aşamalara bölünür; her aşama bir işlemcidir.
• Fabrika montaj hattı gibi: bir iş 2. aşamaya geçerken 1. aşama bir sonraki işe başlar.
• Tek bir işin süresi kısalmaz; ama birim zamanda biten iş (throughput) artar.
• k aşama, m iş: sıralı k · m adım; boru hattıyla k + m − 1 adım.
• Başta hat dolarken ve sonda boşalırken bazı aşamalar boştur.

3 aşama, 4 iş: 3 · 4 = 12 yerine 3 + 4 − 1 = 6 adım.

Boru Hattı

Boru Hattı Problemi

• 5 işlemci p₀ … p₄ doğrusal bir zincir oluşturur; her işlemci yalnızca sağ komşusuna mesaj gönderebilir.
• Her p_j, 4 değerlik bir sütun tutar (satır 0 … 3).
• Amaç: her satır r için p_j'deki değer, p₀ … p_j'nin o satırdaki değerlerinin toplamı olsun (satır bazında önek toplamı). Böylece p₄ her satırın toplamını tutar.
• Bir adımda her işlemci bir değer gönderir; alıcı onu kendi değerine ekler.
• Saf yöntem: satır 0'ı zincir boyunca taşı (4 adım), sonra satır 1'i… → 4 · 4 = 16 adım.
• Boru hattı: p_j, satır r'yi t = r + j anında gönderir; satırlar zincirde arka arkaya akar.

Boru Hattı · Adım adım

Boru Hattı Adım Adım: 5 İşlemci, 4 Satır

Boru Hattı

Boru Hattı: Analiz

for (int t = 0; t < m + p - 2; t++)
  // tüm j'ler aynı anda
  for (int j = 0; j < p - 1; j++) {
    int r = t - j;
    if (r >= 0 && r < m)
      x[j + 1][r] += x[j][r];
  }

Boru Hatlı Ağaç

Ağaçta İndirgeme

• İşlemciler bir ağaç biçiminde bağlıdır; her düğüm değerini ebeveynine gönderir, ebeveyn kendi değerine ekler. Sonuç kökte toplanır.
• Ağacın derinliği h ise tek bir değerin indirgenmesi h tur sürer (örneğimizde h = 3).
• Şimdi her işlemcide tek sayı değil, k bileşenli bir vektör var (örnekte k = 3: yeşil, mavi, kırmızı). Her bileşen ayrı ayrı toplanacak.
• Saf yöntem: bileşenleri sırayla indirge → k · h = 9 tur.
• Boru hatlı ağaç (pipelined tree): bir bileşen yukarı çıkarken bir sonraki bileşen yapraklardan yola çıkar.
• Kural: bir düğüm bir turda en fazla bir mesaj alabilir (aynı anda bir mesaj da gönderebilir).

Boru Hatlı Ağaç · Adım adım

Boru Hatlı Ağaç Adım Adım

Boru Hatlı Ağaç

Boru Hatlı Ağaç: Analiz

Paralel Algoritma Türleri

Paralel Algoritma Türleri

Paralel Algoritma Türleri

Paralel Birleştirme Sıralaması

class SiralamaGorevi extends RecursiveTask<int[]> {
  private final int[] dizi;
  SiralamaGorevi(int[] dizi) { this.dizi = dizi; }

  protected int[] compute() {
    if (dizi.length <= 1) return dizi;
    int orta = dizi.length / 2;
    var sol = new SiralamaGorevi(
        Arrays.copyOfRange(dizi, 0, orta));
    var sag = new SiralamaGorevi(
        Arrays.copyOfRange(dizi, orta, dizi.length));
    sol.fork();               // paralel başlat
    sag.fork();
    return birlestir(sol.join(), sag.join());
  }
}
// kullanım:
int[] s = new ForkJoinPool().invoke(
    new SiralamaGorevi(dizi));

Paralel Algoritma Türleri · Adım adım

Paralel Birleştirme Sıralaması: 2 3 5 1 7 6 8 4

Paralel Algoritma Türleri

Paralel Sıralama: Analiz

• Derinlik yinelemesi: D(n) = D(n/2) + Θ(n) = Θ(n), çünkü iki yarı paralel ama birleştirme sıralıdır.
• Paralellik yalnızca Θ(log n): n = 10⁶ için ≈ 20 çekirdekten fazlası pek fayda etmez.
• Uygulamada: küçük parçalarda (örn. < 1000 eleman) sıralı sıralamaya geçin; aksi hâlde görev oluşturma yükü kazancı yer.
• Hazır çözüm: Arrays.parallelSort(dizi).

Paralel Algoritma Türleri

MapReduce

Paralel Algoritma Türleri

MapReduce: Kod

// Map: bir parçadaki kelimeleri say
protected Map<String, Integer> compute() {
  Map<String, Integer> sonuc = new HashMap<>();
  for (String kelime : parca)
    sonuc.merge(kelime, 1, Integer::sum);
  return sonuc;
}
// Ana akış
for (MapGorevi g : mapGorevleri) g.fork();
List<Map<String, Integer>> ara = new ArrayList<>();
for (MapGorevi g : mapGorevleri) ara.add(g.join());
// Reduce: ara sonuçları birleştir
Map<String, Integer> toplam = new HashMap<>();
for (Map<String, Integer> m : ara)
  m.forEach((k, v) -> toplam.merge(k, v, Integer::sum));

Paralel Algoritma Türleri

Veri Paralelliği: Matris Çarpımı

// her satır ayrı bir görev
class SatirGorevi extends RecursiveAction {
  protected void compute() {
    for (int j = 0; j < n; j++) {
      C[satir][j] = 0;
      for (int k = 0; k < n; k++)
        C[satir][j] += A[satir][k] * B[k][j];
    }
  }
}
try (var havuz = new ForkJoinPool()) {
  for (int i = 0; i < n; i++)
    havuz.submit(new SatirGorevi(i));
}   // close(): tüm görevleri bekler

Paralel Algoritma Türleri

Yarış Durumu

Paralel Algoritma Türleri

Eşzamanlı Çizge Gezinme

Set<Dugum> ziyaret = ConcurrentHashMap.newKeySet();
if (!ziyaret.add(komsu)) continue; // atomik kontrol+ekle

Paralel Algoritma Türleri

Java'da Paralellik Araçları

Map<String, Long> adet = kelimeler.parallelStream()
    .collect(Collectors.groupingByConcurrent(k -> k, Collectors.counting()));

Özet

Özet

Özet

Sık Yapılan Hatalar

Özet

Örnek Problemler

1. n = 16 sayı PRAM ağacıyla toplanıyor. Kaç tur sürer, ilk turda kaç işlemci çalışır, toplam kaç toplama yapılır?
2. Boru hattında p = 5 işlemci ve m = 100 satır varsa kaç adım gerekir? Saf yöntemle karşılaştırın.
3. Bölümdeki boru hatlı ağaç örneğinde (7 işlemci, h = 3) her işlemci k = 10 bileşenli vektör tutsaydı kaç tur gerekirdi?
4. Programın %80'i paraleldir. p = 4 için Amdahl hızlanması nedir, üst sınır kaçtır?
5. T₁ = 120 s, T₆ = 30 s. Hızlanma, verim ve maliyeti bulun.
6. [1, 2, 3, 4] dizisinin Hillis–Steele önek toplamını turlar hâlinde yazın; kaç toplama yapılır?

Özet

Alıştırmalar

1. PRAM ağaç toplamını en büyük eleman bulacak şekilde değiştirin. Süre ve iş nedir?
2. n = 8 için Hillis–Steele önek toplamı kaç toplama yapar? Sıralı algoritmayla karşılaştırın.
3. Paralel gezinmedeki ziyaret kümesini iş parçacığı güvenli yapın.
4. Paralel birleştirme sıralamasına eşik ekleyin; neden iki alt görevden birini fork() yerine doğrudan compute() etmek daha iyidir?
5. p = 32 işlemcide S = 16 hızlanma için programın en az ne kadarı paralel olmalıdır (Amdahl)?
6. m satır, p işlemcili boru hattında adım sayısını ve verimi genel olarak ifade edin.

Özet

Kaynaklar

• Cormen, Leiserson, Rivest ve Stein, Introduction to Algorithms, 4. baskı, MIT Press, 2022 (Bölüm 26: Parallel Algorithms).
• J. JáJá, An Introduction to Parallel Algorithms, Addison-Wesley, 1992.
• A. Grama, A. Gupta, G. Karypis ve V. Kumar, Introduction to Parallel Computing, 2. baskı, Addison-Wesley, 2003.
• G. M. Amdahl, "Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities", AFIPS, 1967.
• J. Dean ve S. Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters", OSDI, 2004.
• D. Lea, "A Java Fork/Join Framework", ACM Java Grande Conference, 2000.