Makine Öğrenmesi Sistemleri ve MLOps

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım VI: Sistem ve Uygulama
Yaşam döngüsüSürümlemeDağıtımİzleme ve kaymaOtomasyonKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur?

MLOps, makine öğrenmesi modellerini üretime taşıyıp orada güvenilir biçimde çalıştırmak için yazılım mühendisliği ve DevOps alışkanlıklarını MÖ'ye uygular. Ders veriyi, kodu ve modeli birlikte sürümlemeyi, boru hattını otomatikleştirmeyi, dağıtmayı ve üretimdeki modeli izlemeyi inceler.

Bir bakışta

Yaklaşım

yazılım mühendisliği ve MÖ

Girdi

eğitilmiş model, veri boru hattı

Çıktı

çalışan ve izlenen hizmet

Başarı ölçütü

gecikme, kesintisizlik, veri kayması

Matematik yükü

düşük

Veri ihtiyacı

akan üretim verisi

Giriş

Kısa Tarihçe

2009

İlk DevOpsDays Ghent'te yapılır; geliştirme ve işletmeyi birleştiren DevOps akımı yayılır.

2014

Docker 1.0 yayımlanır, Kubernetes duyurulur: kapsayıcılar dağıtımın ortak birimi olur.

2015

Sculley ve ark. MÖ sistemlerindeki gizli teknik borcu gösterir: model kodu sistemin küçük bir parçasıdır.

2017

Google TFX'i, Uber Michelangelo'yu tanıtır; şirket içi MÖ platformları görünür olur.

2018

Databricks MLflow'u açık kaynak olarak duyurur: deney takibi ve model kaydı.

2021

Andrew Ng veri merkezli YZ çağrısını yapar: modelden çok veri kalitesine odaklanmak.

Ders

Temel Kavramlar

Boru hattı

Veri hazırlamadan dağıtıma kadar otomatik adımlar.

Sürümleme

Veri, kod ve modelin birlikte izlenmesi ve geri alınması.

Deney takibi

Her eğitimin parametre, ölçüt ve çıktısını kaydetmek.

Model kaydı

Onaylı model sürümlerinin tek bir yerde tutulması.

Öznitelik deposu

Eğitim ve üretimde aynı özniteliklerin kullanılması.

CI/CD/CT

Sürekli tümleştirme, dağıtım ve sürekli yeniden eğitim.

Model sunma

Çevrimiçi API ya da toplu tahmin işi olarak çalıştırma.

Veri kayması

Üretim verisinin eğitimdekinden uzaklaşması; izlenmeli.

Ders

Tipik İş Akışı

Veriyihazırlasürümlüveri setiEğit vekaydetdeney takibi,model kaydıPaketlekapsayıcı,APIDağıtkanarya,A/B testiİzlekayma,yeniden eğitim
Örnek: Bir bankanın kredi modeli her ay yeni başvurularla yeniden eğitilir. Kayda geçen en iyi sürüm bir kapsayıcıya paketlenir, önce trafiğin küçük bir kısmına açılır, sorun çıkmazsa herkese yayılır. Başvuru dağılımı kaydığında izleme panosu ekibi uyarır ve döngü yeniden başlar.

Dene

Model Üretimde Sessizce Bozuluyor

Bankanın sahtecilik modeli olağan dışı büyük işlemleri işaretliyor; fiyatlar her hafta biraz artıyor. Haftayı ilerletin, kaymayı (PSI) ve doğruluğu izleyin; alarm çalınca modeli yeniden eğitin.

PSI, bu haftanın dağılımını eğitim verisiyle on dilimde karşılaştırır. 0,2 üstü alarm sayılır. Etiketler geç gelir; PSI ise hemen hesaplanır.
Model yazılım gibi bir kez kurulup bırakılmaz: MLOps izleme, alarm ve otomatik yeniden eğitim hattını kurar. Kayma, doğruluk düşmeden önce yakalanır.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Makine Öğrenmesimodeli dağıtma, izleme, yeniden eğitme
İşletim Sistemlerisüreçler, bellek ve kaynak yönetimi: kapsayıcıların dayandığı kavramlar
Nesneye Yönelik Programlamamodüler ve test edilebilir kod yazma alışkanlığı
Yazılım Mühendisliğisürüm denetimi (Git), test ve sürekli tümleştirme

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
uygulamaBu ders Makine Öğrenmesi yöntemlerini uygularmodeli dağıtma, izleme, yeniden eğitme
yöntem paylaşırVeri Bilimi ile yöntem paylaşırdeney takibi, veri sürümleme
yöntem paylaşırBüyük Veri Sistemleri ile yöntem paylaşırveri boru hatları
yöntem paylaşırGömülü Yapay Zekâ ile yöntem paylaşırmodeli cihazlara dağıtma ve güncelleme

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütMLOpsMakine ÖğrenmesiBüyük Veri
Temel soruBir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur?Bir program örneklerden nasıl genelleme yapar?Tek bir makineye sığmayan veri nasıl saklanır ve işlenir?
Yaklaşımyazılım mühendisliği ve MÖistatistiksel öğrenmedağıtık depolama ve hesaplama
Girdieğitilmiş model, veri boru hattıetiketli ya da etiketsiz örneklerçok büyük ve hızlı akan veri
Çıktıçalışan ve izlenen hizmettahmin yapan modelişlenmiş veri, sorgu sonucu
Başarı ölçütügecikme, kesintisizlik, veri kaymasıgörülmemiş veride hataölçeklenme, gecikme, maliyet
Matematik yüküdüşükyüksek: doğrusal cebir, olasılık, optimizasyondüşük
Veri ihtiyacıakan üretim verisiorta ve çokçok fazla
  • Makine Öğrenmesi: MÖ iyi bir model kurmayı öğretir; bu ders o modelin üretimde aylarca güvenilir çalışmasını sağlamayı öğretir.
  • Büyük Veri: Büyük veri sistemleri veriyi ölçekli saklar ve işler; bu ders o veriyle eğitilen modelin yaşam döngüsünü yönetir.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütMLOpsVeri BilimiGömülü YZ
Temel soruBir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur?Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır?
Yaklaşımyazılım mühendisliği ve MÖsoru, veri, analiz, anlatıkaynağı kısıtlı çıkarım
Girdieğitilmiş model, veri boru hattıham, dağınık verieğitilmiş model, cihaz kısıtları
Çıktıçalışan ve izlenen hizmetrapor, görselleştirme, modelküçük ve hızlı model
Başarı ölçütügecikme, kesintisizlik, veri kaymasıkararlara katkı, doğrulukgecikme, enerji, bellek
Matematik yüküdüşükorta: istatistikorta
Veri ihtiyacıakan üretim verisiorta ve çokeğitim verisi zaten var
  • Veri Bilimi: Veri bilimi bir soruyu yanıtlayan analiz yapar; bu ders sürekli çalışan, izlenen ve yenilenen bir hizmet kurar.
  • Gömülü YZ: Gömülü YZ modeli küçük bir cihaza sığdırır; bu ders modeli sunucularda dağıtır, sürümler ve izler.

Uygulama

Uygulama Alanları

Öneri hizmetleri

Günde milyonlarca isteğe yanıt veren modeller.

Sahtekârlık tespiti

Milisaniyede karar, sık yeniden eğitim.

Talep tahmini

Her gece çalışan toplu tahmin işleri.

Arama sıralaması

A/B testiyle sürekli denenen modeller.

Kredi riski

Denetlenebilir, sürümlü ve izlenen modeller.

Dil modeli hizmetleri

Büyük modellerin ölçekli ve maliyetli sunumu.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

MLflowDVCDockerKubernetesKubeflowApache AirflowPrometheus

Klasik örnek senaryolar

Aylık yeniden eğitilen kredi modeliGece çalışan talep tahminiGerçek zamanlı sahtekârlık sunumuA/B testli öneri modeliVeri kayması benzetimiHatalı sürümü geri alma
Ders bir algoritma değil bir süreç öğretir: küçük bir model eğitimden izlemeye kadar uçtan uca bir boru hattına dönüştürülür.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Model eğitilince iş biter.Üretimde veri değişir; izlenmeyen model zamanla sessizce kötüleşir.
MLOps yalnızca araç kurmaktır.Araçlar süreci destekler; asıl iş sürümleme, test, sorumluluk ve geri alma düzenidir.
Test doğruluğu yüksekse üretimde de iyidir.Üretim verisi eğitimdekinden farklı olabilir; gecikme ve maliyet de başarının parçasıdır.
Bir MÖ sisteminin çoğu modeldir.Model kodu; veri, yapılandırma, sunum ve izleme altyapısı yanında küçük bir parçadır.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

MLOps mühendisiMakine öğrenmesi mühendisiVeri mühendisiPlatform mühendisiSite güvenilirlik mühendisi (SRE)
MLOps rehberin sistem kısmının omurgasıdır: büyük veri sistemleri eğitim verisini, GPU programlama eğitim hızını, gömülü YZ ise uçtaki dağıtımı ele alır. Bu dersten sonra bulut platformları, dağıtık eğitim ya da büyük dil modellerinin sunumu doğal sonraki adımlardır.

Sonrası

Kaynaklar

  • Huyen, Designing Machine Learning Systems, O'Reilly, 2022.
  • Burkov, Machine Learning Engineering, True Positive Inc., 2020.
  • Lakshmanan, Robinson ve Munn, Machine Learning Design Patterns, O'Reilly, 2020.
  • Sculley ve ark., "Hidden Technical Debt in Machine Learning Systems", NeurIPS, 2015.

Son

Bölüm 35: Makine Öğrenmesi Sistemleri ve MLOps
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.