Makine Öğrenmesi Sistemleri ve MLOps
Giriş
Ders Hangi Soruyu Sorar?
MLOps, makine öğrenmesi modellerini üretime taşıyıp orada güvenilir biçimde çalıştırmak için yazılım mühendisliği ve DevOps alışkanlıklarını MÖ'ye uygular. Ders veriyi, kodu ve modeli birlikte sürümlemeyi, boru hattını otomatikleştirmeyi, dağıtmayı ve üretimdeki modeli izlemeyi inceler.
Bir bakışta
yazılım mühendisliği ve MÖ
eğitilmiş model, veri boru hattı
çalışan ve izlenen hizmet
gecikme, kesintisizlik, veri kayması
düşük
akan üretim verisi
Giriş
Kısa Tarihçe
İlk DevOpsDays Ghent'te yapılır; geliştirme ve işletmeyi birleştiren DevOps akımı yayılır.
Docker 1.0 yayımlanır, Kubernetes duyurulur: kapsayıcılar dağıtımın ortak birimi olur.
Sculley ve ark. MÖ sistemlerindeki gizli teknik borcu gösterir: model kodu sistemin küçük bir parçasıdır.
Google TFX'i, Uber Michelangelo'yu tanıtır; şirket içi MÖ platformları görünür olur.
Databricks MLflow'u açık kaynak olarak duyurur: deney takibi ve model kaydı.
Andrew Ng veri merkezli YZ çağrısını yapar: modelden çok veri kalitesine odaklanmak.
Ders
Temel Kavramlar
Veri hazırlamadan dağıtıma kadar otomatik adımlar.
Veri, kod ve modelin birlikte izlenmesi ve geri alınması.
Her eğitimin parametre, ölçüt ve çıktısını kaydetmek.
Onaylı model sürümlerinin tek bir yerde tutulması.
Eğitim ve üretimde aynı özniteliklerin kullanılması.
Sürekli tümleştirme, dağıtım ve sürekli yeniden eğitim.
Çevrimiçi API ya da toplu tahmin işi olarak çalıştırma.
Üretim verisinin eğitimdekinden uzaklaşması; izlenmeli.
Ders
Tipik İş Akışı
Dene
Model Üretimde Sessizce Bozuluyor
Bankanın sahtecilik modeli olağan dışı büyük işlemleri işaretliyor; fiyatlar her hafta biraz artıyor. Haftayı ilerletin, kaymayı (PSI) ve doğruluğu izleyin; alarm çalınca modeli yeniden eğitin.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Makine Öğrenmesi | modeli dağıtma, izleme, yeniden eğitme |
| İşletim Sistemleri | süreçler, bellek ve kaynak yönetimi: kapsayıcıların dayandığı kavramlar |
| Nesneye Yönelik Programlama | modüler ve test edilebilir kod yazma alışkanlığı |
| Yazılım Mühendisliği | sürüm denetimi (Git), test ve sürekli tümleştirme |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| uygulama | Bu ders Makine Öğrenmesi yöntemlerini uygular | modeli dağıtma, izleme, yeniden eğitme |
| yöntem paylaşır | Veri Bilimi ile yöntem paylaşır | deney takibi, veri sürümleme |
| yöntem paylaşır | Büyük Veri Sistemleri ile yöntem paylaşır | veri boru hatları |
| yöntem paylaşır | Gömülü Yapay Zekâ ile yöntem paylaşır | modeli cihazlara dağıtma ve güncelleme |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | MLOps | Makine Öğrenmesi | Büyük Veri |
|---|---|---|---|
| Temel soru | Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur? | Bir program örneklerden nasıl genelleme yapar? | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? |
| Yaklaşım | yazılım mühendisliği ve MÖ | istatistiksel öğrenme | dağıtık depolama ve hesaplama |
| Girdi | eğitilmiş model, veri boru hattı | etiketli ya da etiketsiz örnekler | çok büyük ve hızlı akan veri |
| Çıktı | çalışan ve izlenen hizmet | tahmin yapan model | işlenmiş veri, sorgu sonucu |
| Başarı ölçütü | gecikme, kesintisizlik, veri kayması | görülmemiş veride hata | ölçeklenme, gecikme, maliyet |
| Matematik yükü | düşük | yüksek: doğrusal cebir, olasılık, optimizasyon | düşük |
| Veri ihtiyacı | akan üretim verisi | orta ve çok | çok fazla |
- Makine Öğrenmesi: MÖ iyi bir model kurmayı öğretir; bu ders o modelin üretimde aylarca güvenilir çalışmasını sağlamayı öğretir.
- Büyük Veri: Büyük veri sistemleri veriyi ölçekli saklar ve işler; bu ders o veriyle eğitilen modelin yaşam döngüsünü yönetir.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | MLOps | Veri Bilimi | Gömülü YZ |
|---|---|---|---|
| Temel soru | Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur? | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? | Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır? |
| Yaklaşım | yazılım mühendisliği ve MÖ | soru, veri, analiz, anlatı | kaynağı kısıtlı çıkarım |
| Girdi | eğitilmiş model, veri boru hattı | ham, dağınık veri | eğitilmiş model, cihaz kısıtları |
| Çıktı | çalışan ve izlenen hizmet | rapor, görselleştirme, model | küçük ve hızlı model |
| Başarı ölçütü | gecikme, kesintisizlik, veri kayması | kararlara katkı, doğruluk | gecikme, enerji, bellek |
| Matematik yükü | düşük | orta: istatistik | orta |
| Veri ihtiyacı | akan üretim verisi | orta ve çok | eğitim verisi zaten var |
- Veri Bilimi: Veri bilimi bir soruyu yanıtlayan analiz yapar; bu ders sürekli çalışan, izlenen ve yenilenen bir hizmet kurar.
- Gömülü YZ: Gömülü YZ modeli küçük bir cihaza sığdırır; bu ders modeli sunucularda dağıtır, sürümler ve izler.
Uygulama
Uygulama Alanları
Günde milyonlarca isteğe yanıt veren modeller.
Milisaniyede karar, sık yeniden eğitim.
Her gece çalışan toplu tahmin işleri.
A/B testiyle sürekli denenen modeller.
Denetlenebilir, sürümlü ve izlenen modeller.
Büyük modellerin ölçekli ve maliyetli sunumu.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Klasik örnek senaryolar
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Model eğitilince iş biter. | Üretimde veri değişir; izlenmeyen model zamanla sessizce kötüleşir. |
| MLOps yalnızca araç kurmaktır. | Araçlar süreci destekler; asıl iş sürümleme, test, sorumluluk ve geri alma düzenidir. |
| Test doğruluğu yüksekse üretimde de iyidir. | Üretim verisi eğitimdekinden farklı olabilir; gecikme ve maliyet de başarının parçasıdır. |
| Bir MÖ sisteminin çoğu modeldir. | Model kodu; veri, yapılandırma, sunum ve izleme altyapısı yanında küçük bir parçadır. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Huyen, Designing Machine Learning Systems, O'Reilly, 2022.
- Burkov, Machine Learning Engineering, True Positive Inc., 2020.
- Lakshmanan, Robinson ve Munn, Machine Learning Design Patterns, O'Reilly, 2020.
- Sculley ve ark., "Hidden Technical Debt in Machine Learning Systems", NeurIPS, 2015.