Büyük Veri Sistemleri

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım IV: Veri
Üç VDağıtık depolamaMapReduce ve SparkAkış işlemeNoSQL ve CAPKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Tek bir makineye sığmayan veri nasıl saklanır ve işlenir?

Büyük veri sistemleri, tek bir makineye sığmayan ya da tek makinenin yetişemeyeceği hızda gelen veriyi çok sayıda makineye dağıtarak saklamayı ve işlemeyi inceler. Ders bölümleme, kopyalama, hata toleransı ve tutarlılık arasındaki ödünleşimlerle ilgilenir.

Bir bakışta

Yaklaşım

dağıtık depolama ve hesaplama

Girdi

çok büyük ve hızlı akan veri

Çıktı

işlenmiş veri, sorgu sonucu

Başarı ölçütü

ölçeklenme, gecikme, maliyet

Matematik yükü

düşük

Veri ihtiyacı

çok fazla

Giriş

Kısa Tarihçe

2001

Laney veri yönetimindeki zorluğu hacim, hız ve çeşitlilik (3V) olarak tanımlar.

2003

Google File System makalesi: ucuz makinelerden kurulan, hataya dayanıklı dağıtık dosya sistemi.

2004

Dean ve Ghemawat MapReduce'u yayımlar: binlerce makinede basit bir programlama modeli.

2006

Hadoop, GFS ve MapReduce'un açık kaynak karşılığı olarak ayrı bir Apache projesi olur.

2010

Spark açık kaynak olarak yayımlanır: ara sonuçları bellekte tutarak yinelemeli işleri hızlandırır.

2011

LinkedIn Kafka'yı açık kaynak yapar: olay akışları için dağıtık kayıt (log) sistemi.

Ders

Temel Kavramlar

Hacim, hız, çeşitlilik

Verinin boyutu, geliş hızı ve biçim çokluğu.

Dağıtık dosya sistemi

Dosyayı bloklara bölüp makinelere kopyalamak.

MapReduce

Eşle, karıştır, indirge: veriye hesabı götürmek.

Bellek içi işleme

Spark: ara sonuçları diske yazmadan zincirlemek.

Akış işleme

Veri gelirken, sınırsız olay akışını işlemek.

NoSQL

Anahtar-değer, belge, sütun ailesi ve çizge depoları.

CAP teoremi

Ağ bölünmesinde tutarlılık ile erişilebilirlik arası seçim.

Bölümleme, kopyalama

Yükü dağıtmak ve makine bozulunca veri kaybetmemek.

Ders

Tipik İş Akışı

ToplaKafka,olay akışıSaklaHDFS, nesnedeposuİşleSpark, FlinkSorguladağıtık SQLSunpano, model,rapor
Örnek: Bir video sitesi günde milyarlarca izleme olayını Kafka ile toplar, nesne deposunda tarih bazında bölümler, Spark ile gecelik olarak kullanıcı başına izleme özetleri çıkarır ve sonuçları analistlerin SQL ile sorgulayabileceği tablolara yazar.

Dene

Arama Kayıtlarında Sözcük Sayımı

Bir sitenin arama kayıtları tek makineye sığmıyor; hangi sözcüğün kaç kez arandığını işçi makineler birlikte saymalı. Adım adım ilerleyin: Map → Karıştır → Reduce. İşçi sayısını ve birleştiriciyi değiştirip süreye bakın.

Büyük veri dersi işi veriye götürmeyi öğretir: Map ve Reduce birbirinden bağımsız çalıştığı için işçi eklemek hızlandırır, ama ağ trafiği ve en yavaş işçi bir sınır koyar. Birleştirici ağdaki çift sayısını azaltır.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
İşletim Sistemlerisüreç, iş parçacığı, dosya sistemi ve G/Ç maliyeti
Java ile Nesneye Yönelik ProgramlamaHadoop, Spark ve Kafka JVM üzerinde çalışır
Veritabanı ve SQLilişkisel model, dizin, işlem (transaction)

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
yöntem paylaşırVeri Madenciliği ile yöntem paylaşırölçeklenebilir madencilik
yöntem paylaşırMakine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşırveri boru hatları
yöntem paylaşırGPU Programlama ve Paralel Hesaplama ile yöntem paylaşırparalel ve dağıtık hesaplama

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütBüyük VeriVeri MadenciliğiVeri Bilimi
Temel soruTek bir makineye sığmayan veri nasıl saklanır ve işlenir?Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?
Yaklaşımdağıtık depolama ve hesaplamakeşfe dayalı çözümlemesoru, veri, analiz, anlatı
Girdiçok büyük ve hızlı akan veribüyük tablo ya da işlem verisiham, dağınık veri
Çıktıişlenmiş veri, sorgu sonucukural, küme, aykırı değerrapor, görselleştirme, model
Başarı ölçütüölçeklenme, gecikme, maliyetilginçlik, destek, güvenkararlara katkı, doğruluk
Matematik yüküdüşükortaorta: istatistik
Veri ihtiyacıçok fazlaçokorta ve çok
  • Veri Madenciliği: Veri madenciliği hangi örüntünün aranacağını sorar; büyük veri sistemleri o aramanın çok makinede nasıl çalışacağını.
  • Veri Bilimi: Veri bilimi veriden soru ve sonuç çıkarır; büyük veri sistemleri bunu veri tek makineye sığmadığında mümkün kılar.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütBüyük VeriGPU ve Paralel HesaplamaMLOps
Temel soruTek bir makineye sığmayan veri nasıl saklanır ve işlenir?Binlerce çekirdek aynı hesabı nasıl paylaşır?Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur?
Yaklaşımdağıtık depolama ve hesaplamaveri paralel hesaplamayazılım mühendisliği ve MÖ
Girdiçok büyük ve hızlı akan veriparalelleştirilebilir algoritmaeğitilmiş model, veri boru hattı
Çıktıişlenmiş veri, sorgu sonucuhızlandırılmış programçalışan ve izlenen hizmet
Başarı ölçütüölçeklenme, gecikme, maliyethızlanma, bellek bant genişliğigecikme, kesintisizlik, veri kayması
Matematik yüküdüşükdüşük-ortadüşük
Veri ihtiyacıçok fazlagerekmezakan üretim verisi
  • GPU ve Paralel Hesaplama: GPU tek makinede binlerce çekirdekle hesabı hızlandırır; büyük veri sistemleri veriyi makinelere dağıtır, darboğaz ağ ve disktir.
  • MLOps: MLOps modelin yaşam döngüsünü yönetir; büyük veri sistemleri onu besleyen veri boru hatlarını ve depolamayı kurar.

Uygulama

Uygulama Alanları

Günlük analizi

Sunucu günlüklerinden hata ve trafik.

Tıklama akışı

Kullanıcı davranışını anlık izlemek.

Öneri altyapısı

Milyonlarca kullanıcının geçmişi.

Nesnelerin interneti

Algılayıcılardan sürekli gelen ölçüm.

Finansal işlemler

Anlık sahtekârlık uyarısı.

Arama dizini

Web sayfalarını taramak ve dizinlemek.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

Apache HadoopApache SparkApache KafkaApache FlinkApache CassandraMongoDBApache Hive

Tanınmış veri setleri

Common CrawlWikipedia dökümleriNYC TLC taksi kayıtlarıGDELTGoogle Books Ngram

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Büyük veri çok veri demektir.Ölçüt boyut kadar hız ve çeşitliliktir; asıl soru verinin tek makineye sığıp sığmadığıdır.
Dağıtık sistem her zaman daha hızlıdır.Küçük veride tek makine (pandas, SQL) çoğu zaman daha hızlıdır; dağıtmanın ek yükü vardır.
Makineyi iki katına çıkarmak süreyi yarılar.Karıştırma (shuffle), ağ trafiği ve en yavaş görev hızlanmayı sınırlar.
NoSQL, SQL'in yerini aldı.NoSQL farklı tutarlılık ödünleşimleri sunar; Spark SQL ve Hive gibi SQL motorları yaygındır.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Veri mühendisiBüyük veri mimarıVeri platformu mühendisiBulut mühendisi
Büyük veri sistemleri, veri kısmının altyapısıdır. Buradan modelleri üretime taşıyan MLOps'a, hesabı hızlandıran GPU ve paralel hesaplamaya ya da bu altyapının üzerinde çalışan veri madenciliği ve veri bilimine geçilebilir.

Sonrası

Kaynaklar

  • Kleppmann, Designing Data-Intensive Applications, O'Reilly, 2017.
  • White, Hadoop: The Definitive Guide, 4. baskı, O'Reilly, 2015.
  • Chambers ve Zaharia, Spark: The Definitive Guide, O'Reilly, 2018.
  • Dean ve Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters", OSDI, 2004.

Son

Bölüm 27: Büyük Veri Sistemleri
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.