Büyük Veri Sistemleri
Giriş
Ders Hangi Soruyu Sorar?
Büyük veri sistemleri, tek bir makineye sığmayan ya da tek makinenin yetişemeyeceği hızda gelen veriyi çok sayıda makineye dağıtarak saklamayı ve işlemeyi inceler. Ders bölümleme, kopyalama, hata toleransı ve tutarlılık arasındaki ödünleşimlerle ilgilenir.
Bir bakışta
dağıtık depolama ve hesaplama
çok büyük ve hızlı akan veri
işlenmiş veri, sorgu sonucu
ölçeklenme, gecikme, maliyet
düşük
çok fazla
Giriş
Kısa Tarihçe
Laney veri yönetimindeki zorluğu hacim, hız ve çeşitlilik (3V) olarak tanımlar.
Google File System makalesi: ucuz makinelerden kurulan, hataya dayanıklı dağıtık dosya sistemi.
Dean ve Ghemawat MapReduce'u yayımlar: binlerce makinede basit bir programlama modeli.
Hadoop, GFS ve MapReduce'un açık kaynak karşılığı olarak ayrı bir Apache projesi olur.
Spark açık kaynak olarak yayımlanır: ara sonuçları bellekte tutarak yinelemeli işleri hızlandırır.
LinkedIn Kafka'yı açık kaynak yapar: olay akışları için dağıtık kayıt (log) sistemi.
Ders
Temel Kavramlar
Verinin boyutu, geliş hızı ve biçim çokluğu.
Dosyayı bloklara bölüp makinelere kopyalamak.
Eşle, karıştır, indirge: veriye hesabı götürmek.
Spark: ara sonuçları diske yazmadan zincirlemek.
Veri gelirken, sınırsız olay akışını işlemek.
Anahtar-değer, belge, sütun ailesi ve çizge depoları.
Ağ bölünmesinde tutarlılık ile erişilebilirlik arası seçim.
Yükü dağıtmak ve makine bozulunca veri kaybetmemek.
Ders
Tipik İş Akışı
Ders
Derste Neler İşlenir?
- Ölçekleme sorunu: dikey ve yatay büyüme
- Dağıtık dosya sistemleri: GFS ve HDFS
- MapReduce programlama modeli
- Spark: RDD, DataFrame ve Spark SQL
- Veri modelleri: ilişkisel, belge, sütun ailesi
- Depolama motorları: LSM ağacı, B ağacı, sütunlu dosya
- Bölümleme ve yük dengeleme
- Kopyalama ve tutarlılık modelleri
- CAP, dağıtık işlemler ve uzlaşma: Paxos, Raft
- Olay akışları: Kafka ve yayımla-abone ol
- Akış işleme: pencereler, olay zamanı, Flink
- Veri gölü, veri ambarı ve iş akışı düzenleme
Kazandırdığı beceriler
Tipik bir dönemin akışıdır; sıra ve kapsam üniversiteden üniversiteye değişir.
Dene
Arama Kayıtlarında Sözcük Sayımı
Bir sitenin arama kayıtları tek makineye sığmıyor; hangi sözcüğün kaç kez arandığını işçi makineler birlikte saymalı. Adım adım ilerleyin: Map → Karıştır → Reduce. İşçi sayısını ve birleştiriciyi değiştirip süreye bakın.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| İşletim Sistemleri | süreç, iş parçacığı, dosya sistemi ve G/Ç maliyeti |
| Java ile Nesneye Yönelik Programlama | Hadoop, Spark ve Kafka JVM üzerinde çalışır |
| Veritabanı ve SQL | ilişkisel model, dizin, işlem (transaction) |
Konum
Bu Ders Sana Göre mi?
Kendine sor; "hayır" dediklerin için sağdaki sütun nereden başlayacağını gösterir.
| Kendine sor | Hayırsa önce |
|---|---|
| Süreç ile iş parçacığı arasındaki farkı açıklayabiliyor musun? | İşletim Sistemleri dersi: süreçler ve eş zamanlılık |
| JOIN ve GROUP BY içeren bir SQL sorgusu yazabiliyor musun? | Bir veritabanı dersindeki SQL ve ilişkisel model |
| Java ya da Python'da sınıf ve koleksiyonlarla program yazabiliyor musun? | Java ile Nesneye Yönelik Programlama dersi |
| Linux komut satırında dosya taşıyıp bir betik çalıştırabiliyor musun? | Linux komut satırına kısa bir giriş |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| yöntem paylaşır | Veri Madenciliği ile yöntem paylaşır | ölçeklenebilir madencilik |
| yöntem paylaşır | Makine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşır | veri boru hatları |
| yöntem paylaşır | GPU Programlama ve Paralel Hesaplama ile yöntem paylaşır | paralel ve dağıtık hesaplama |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Büyük Veri | Veri Madenciliği | Veri Bilimi |
|---|---|---|---|
| Temel soru | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? |
| Yaklaşım | dağıtık depolama ve hesaplama | keşfe dayalı çözümleme | soru, veri, analiz, anlatı |
| Girdi | çok büyük ve hızlı akan veri | büyük tablo ya da işlem verisi | ham, dağınık veri |
| Çıktı | işlenmiş veri, sorgu sonucu | kural, küme, aykırı değer | rapor, görselleştirme, model |
| Başarı ölçütü | ölçeklenme, gecikme, maliyet | ilginçlik, destek, güven | kararlara katkı, doğruluk |
| Matematik yükü | düşük | orta | orta: istatistik |
| Veri ihtiyacı | çok fazla | çok | orta ve çok |
- Veri Madenciliği: Veri madenciliği hangi örüntünün aranacağını sorar; büyük veri sistemleri o aramanın çok makinede nasıl çalışacağını.
- Veri Bilimi: Veri bilimi veriden soru ve sonuç çıkarır; büyük veri sistemleri bunu veri tek makineye sığmadığında mümkün kılar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Büyük Veri | GPU ve Paralel Hesaplama | MLOps |
|---|---|---|---|
| Temel soru | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? | Binlerce çekirdek aynı hesabı nasıl paylaşır? | Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur? |
| Yaklaşım | dağıtık depolama ve hesaplama | veri paralel hesaplama | yazılım mühendisliği ve MÖ |
| Girdi | çok büyük ve hızlı akan veri | paralelleştirilebilir algoritma | eğitilmiş model, veri boru hattı |
| Çıktı | işlenmiş veri, sorgu sonucu | hızlandırılmış program | çalışan ve izlenen hizmet |
| Başarı ölçütü | ölçeklenme, gecikme, maliyet | hızlanma, bellek bant genişliği | gecikme, kesintisizlik, veri kayması |
| Matematik yükü | düşük | düşük-orta | düşük |
| Veri ihtiyacı | çok fazla | gerekmez | akan üretim verisi |
- GPU ve Paralel Hesaplama: GPU tek makinede binlerce çekirdekle hesabı hızlandırır; büyük veri sistemleri veriyi makinelere dağıtır, darboğaz ağ ve disktir.
- MLOps: MLOps modelin yaşam döngüsünü yönetir; büyük veri sistemleri onu besleyen veri boru hatlarını ve depolamayı kurar.
Uygulama
Uygulama Alanları
Sunucu günlüklerinden hata ve trafik.
Kullanıcı davranışını anlık izlemek.
Milyonlarca kullanıcının geçmişi.
Algılayıcılardan sürekli gelen ölçüm.
Anlık sahtekârlık uyarısı.
Web sayfalarını taramak ve dizinlemek.
Uygulama
Riskler ve Etik
Yanlış ayarlanmış kopyalama ya da saklama süresi dolup silinen Kafka kayıtları, kimse fark etmeden veriyi yok edebilir.
Depolama ucuz diye toplanan kişisel veri sızıntı yüzeyini büyütür; KVKK verinin amaçla sınırlı ve ölçülü tutulmasını ister.
Bir kişinin verisi yedeklere, kopyalara ve türetilmiş tablolara dağılır; silme talebini eksiksiz karşılamak zordur.
Açık unutulan bir küme ya da gereksiz tam tablo taraması büyük bir fatura ve boşa harcanan enerji demektir.
Ayrıntılı tartışma: Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Büyük veri çok veri demektir. | Ölçüt boyut kadar hız ve çeşitliliktir; asıl soru verinin tek makineye sığıp sığmadığıdır. |
| Dağıtık sistem her zaman daha hızlıdır. | Küçük veride tek makine (pandas, SQL) çoğu zaman daha hızlıdır; dağıtmanın ek yükü vardır. |
| Makineyi iki katına çıkarmak süreyi yarılar. | Karıştırma (shuffle), ağ trafiği ve en yavaş görev hızlanmayı sınırlar. |
| NoSQL, SQL'in yerini aldı. | NoSQL farklı tutarlılık ödünleşimleri sunar; Spark SQL ve Hive gibi SQL motorları yaygındır. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Kleppmann, Designing Data-Intensive Applications, O'Reilly, 2017.
- White, Hadoop: The Definitive Guide, 4. baskı, O'Reilly, 2015.
- Chambers ve Zaharia, Spark: The Definitive Guide, O'Reilly, 2018.
- Dean ve Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters", OSDI, 2004.