Büyük Veri Sistemleri
Giriş
Ders Hangi Soruyu Sorar?
Büyük veri sistemleri, tek bir makineye sığmayan ya da tek makinenin yetişemeyeceği hızda gelen veriyi çok sayıda makineye dağıtarak saklamayı ve işlemeyi inceler. Ders bölümleme, kopyalama, hata toleransı ve tutarlılık arasındaki ödünleşimlerle ilgilenir.
Bir bakışta
dağıtık depolama ve hesaplama
çok büyük ve hızlı akan veri
işlenmiş veri, sorgu sonucu
ölçeklenme, gecikme, maliyet
düşük
çok fazla
Giriş
Kısa Tarihçe
Laney veri yönetimindeki zorluğu hacim, hız ve çeşitlilik (3V) olarak tanımlar.
Google File System makalesi: ucuz makinelerden kurulan, hataya dayanıklı dağıtık dosya sistemi.
Dean ve Ghemawat MapReduce'u yayımlar: binlerce makinede basit bir programlama modeli.
Hadoop, GFS ve MapReduce'un açık kaynak karşılığı olarak ayrı bir Apache projesi olur.
Spark açık kaynak olarak yayımlanır: ara sonuçları bellekte tutarak yinelemeli işleri hızlandırır.
LinkedIn Kafka'yı açık kaynak yapar: olay akışları için dağıtık kayıt (log) sistemi.
Ders
Temel Kavramlar
Verinin boyutu, geliş hızı ve biçim çokluğu.
Dosyayı bloklara bölüp makinelere kopyalamak.
Eşle, karıştır, indirge: veriye hesabı götürmek.
Spark: ara sonuçları diske yazmadan zincirlemek.
Veri gelirken, sınırsız olay akışını işlemek.
Anahtar-değer, belge, sütun ailesi ve çizge depoları.
Ağ bölünmesinde tutarlılık ile erişilebilirlik arası seçim.
Yükü dağıtmak ve makine bozulunca veri kaybetmemek.
Ders
Tipik İş Akışı
Dene
Arama Kayıtlarında Sözcük Sayımı
Bir sitenin arama kayıtları tek makineye sığmıyor; hangi sözcüğün kaç kez arandığını işçi makineler birlikte saymalı. Adım adım ilerleyin: Map → Karıştır → Reduce. İşçi sayısını ve birleştiriciyi değiştirip süreye bakın.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| İşletim Sistemleri | süreç, iş parçacığı, dosya sistemi ve G/Ç maliyeti |
| Java ile Nesneye Yönelik Programlama | Hadoop, Spark ve Kafka JVM üzerinde çalışır |
| Veritabanı ve SQL | ilişkisel model, dizin, işlem (transaction) |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| yöntem paylaşır | Veri Madenciliği ile yöntem paylaşır | ölçeklenebilir madencilik |
| yöntem paylaşır | Makine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşır | veri boru hatları |
| yöntem paylaşır | GPU Programlama ve Paralel Hesaplama ile yöntem paylaşır | paralel ve dağıtık hesaplama |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Büyük Veri | Veri Madenciliği | Veri Bilimi |
|---|---|---|---|
| Temel soru | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? |
| Yaklaşım | dağıtık depolama ve hesaplama | keşfe dayalı çözümleme | soru, veri, analiz, anlatı |
| Girdi | çok büyük ve hızlı akan veri | büyük tablo ya da işlem verisi | ham, dağınık veri |
| Çıktı | işlenmiş veri, sorgu sonucu | kural, küme, aykırı değer | rapor, görselleştirme, model |
| Başarı ölçütü | ölçeklenme, gecikme, maliyet | ilginçlik, destek, güven | kararlara katkı, doğruluk |
| Matematik yükü | düşük | orta | orta: istatistik |
| Veri ihtiyacı | çok fazla | çok | orta ve çok |
- Veri Madenciliği: Veri madenciliği hangi örüntünün aranacağını sorar; büyük veri sistemleri o aramanın çok makinede nasıl çalışacağını.
- Veri Bilimi: Veri bilimi veriden soru ve sonuç çıkarır; büyük veri sistemleri bunu veri tek makineye sığmadığında mümkün kılar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Büyük Veri | GPU ve Paralel Hesaplama | MLOps |
|---|---|---|---|
| Temel soru | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? | Binlerce çekirdek aynı hesabı nasıl paylaşır? | Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur? |
| Yaklaşım | dağıtık depolama ve hesaplama | veri paralel hesaplama | yazılım mühendisliği ve MÖ |
| Girdi | çok büyük ve hızlı akan veri | paralelleştirilebilir algoritma | eğitilmiş model, veri boru hattı |
| Çıktı | işlenmiş veri, sorgu sonucu | hızlandırılmış program | çalışan ve izlenen hizmet |
| Başarı ölçütü | ölçeklenme, gecikme, maliyet | hızlanma, bellek bant genişliği | gecikme, kesintisizlik, veri kayması |
| Matematik yükü | düşük | düşük-orta | düşük |
| Veri ihtiyacı | çok fazla | gerekmez | akan üretim verisi |
- GPU ve Paralel Hesaplama: GPU tek makinede binlerce çekirdekle hesabı hızlandırır; büyük veri sistemleri veriyi makinelere dağıtır, darboğaz ağ ve disktir.
- MLOps: MLOps modelin yaşam döngüsünü yönetir; büyük veri sistemleri onu besleyen veri boru hatlarını ve depolamayı kurar.
Uygulama
Uygulama Alanları
Sunucu günlüklerinden hata ve trafik.
Kullanıcı davranışını anlık izlemek.
Milyonlarca kullanıcının geçmişi.
Algılayıcılardan sürekli gelen ölçüm.
Anlık sahtekârlık uyarısı.
Web sayfalarını taramak ve dizinlemek.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Büyük veri çok veri demektir. | Ölçüt boyut kadar hız ve çeşitliliktir; asıl soru verinin tek makineye sığıp sığmadığıdır. |
| Dağıtık sistem her zaman daha hızlıdır. | Küçük veride tek makine (pandas, SQL) çoğu zaman daha hızlıdır; dağıtmanın ek yükü vardır. |
| Makineyi iki katına çıkarmak süreyi yarılar. | Karıştırma (shuffle), ağ trafiği ve en yavaş görev hızlanmayı sınırlar. |
| NoSQL, SQL'in yerini aldı. | NoSQL farklı tutarlılık ödünleşimleri sunar; Spark SQL ve Hive gibi SQL motorları yaygındır. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Kleppmann, Designing Data-Intensive Applications, O'Reilly, 2017.
- White, Hadoop: The Definitive Guide, 4. baskı, O'Reilly, 2015.
- Chambers ve Zaharia, Spark: The Definitive Guide, O'Reilly, 2018.
- Dean ve Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters", OSDI, 2004.