Gömülü Yapay Zekâ
Giriş
Ders Hangi Soruyu Sorar?
Gömülü yapay zekâ, eğitilmiş modelleri telefon, kamera ya da mikrodenetleyici gibi belleği, işlem gücü ve enerjisi kısıtlı cihazlarda çalıştırmayı inceler. Ders modeli nicemleme, budama ve damıtmayla küçültmeyi, cihaza taşımayı ve gecikmeyle enerjiyi ölçmeyi kapsar; en uç biçimine TinyML denir.
Bir bakışta
kaynağı kısıtlı çıkarım
eğitilmiş model, cihaz kısıtları
küçük ve hızlı model
gecikme, enerji, bellek
orta
eğitim verisi zaten var
Giriş
Kısa Tarihçe
Hinton, Vinyals ve Dean bilgi damıtmayı tanıtır: büyük modelin bilgisi küçük modele aktarılır.
Han ve ark. Deep Compression ile budama ve nicemlemeyi birleştirip ağları onlarca kat küçültür.
MobileNets yayımlanır, TensorFlow Lite duyurulur: telefonda derin ağ çalıştırmak olağanlaşır.
Google, uç cihazlar için Edge TPU hızlandırıcısını duyurur.
İlk tinyML zirvesi yapılır; Warden ve Situnayake TinyML kitabını yayımlar.
MCUNet, ImageNet sınıflandırmasını bir mikrodenetleyicide %70'in üzerinde doğrulukla çalıştırır.
Ders
Temel Kavramlar
32 bit kayan nokta yerine 8 bit ya da daha az tamsayı.
Önemsiz ağırlık, kanal ya da katmanları atmak.
Küçük öğrenci model büyük öğretmeni taklit eder.
MobileNet, derinlemesine ayrılabilir evrişim.
Modeli cihazda çalıştıran küçük yazılım katmanı.
NPU, DSP, Edge TPU: sinir ağına özel donanım.
Birkaç yüz KB SRAM ve flash: ağırlık ve ara sonuçlar.
Doğruluk kadar önemli iki başarım ölçütü.
Ders
Tipik İş Akışı
Dene
Modeli Mikrodenetleyiciye Sığdır
Bir motorun üstündeki titreşim sensörü arızayı kendisi tanımalı, ama işlemcinin belleği 512 KB. Ağırlıkları kaç bitle saklayacağınızı seçin; boyut, hız ve doğruluk birlikte değişir.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Derin Öğrenme | nicemleme, budama, küçük modeller |
| Mikroişlemciler | bellek, yazmaç, kesme ve çevre birimleri: cihazın kısıtlarını anlamak |
| C ile Programlama | gömülü yazılımın dili; işaretçiler ve sabit bellek yönetimi |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| uygulama | Bu ders Derin Öğrenme yöntemlerini uygular | nicemleme, budama, küçük modeller |
| yöntem paylaşır | Robotik ve Robot Görüsü ile yöntem paylaşır | cihaz üzerinde gerçek zamanlı çıkarım |
| yöntem paylaşır | Makine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşır | modeli cihazlara dağıtma ve güncelleme |
| yöntem paylaşır | GPU Programlama ve Paralel Hesaplama ile yöntem paylaşır | donanım hızlandırıcılar |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Gömülü YZ | Derin Öğrenme | GPU ve Paralel Hesaplama |
|---|---|---|---|
| Temel soru | Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır? | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? | Binlerce çekirdek aynı hesabı nasıl paylaşır? |
| Yaklaşım | kaynağı kısıtlı çıkarım | çok katmanlı temsil öğrenme | veri paralel hesaplama |
| Girdi | eğitilmiş model, cihaz kısıtları | ham veri: görüntü, metin, ses | paralelleştirilebilir algoritma |
| Çıktı | küçük ve hızlı model | öğrenilmiş temsil ve tahmin | hızlandırılmış program |
| Başarı ölçütü | gecikme, enerji, bellek | doğruluk, kayıp, ölçeklenme | hızlanma, bellek bant genişliği |
| Matematik yükü | orta | yüksek: türev, matris, olasılık | düşük-orta |
| Veri ihtiyacı | eğitim verisi zaten var | çok; GPU gerekir | gerekmez |
- Derin Öğrenme: Derin öğrenme doğruluk için modeli büyütür; bu ders aynı modeli doğruluğu az kaybederek küçültür.
- GPU ve Paralel Hesaplama: GPU programlama büyük hızlandırıcılardan en yüksek başarımı alır; bu ders birkaç miliwatt ile çalışan cihazlarda çıkarım yapar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Gömülü YZ | MLOps | Robotik |
|---|---|---|---|
| Temel soru | Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır? | Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur? | Bir makine fiziksel dünyayı nasıl algılar, konumunu nasıl bilir ve nasıl hareket eder? |
| Yaklaşım | kaynağı kısıtlı çıkarım | yazılım mühendisliği ve MÖ | algıla, planla, eyle döngüsü |
| Girdi | eğitilmiş model, cihaz kısıtları | eğitilmiş model, veri boru hattı | algılayıcı ölçümleri |
| Çıktı | küçük ve hızlı model | çalışan ve izlenen hizmet | motor komutları, yol |
| Başarı ölçütü | gecikme, enerji, bellek | gecikme, kesintisizlik, veri kayması | görev başarısı, güvenlik |
| Matematik yükü | orta | düşük | yüksek: dönüşümler, denetim |
| Veri ihtiyacı | eğitim verisi zaten var | akan üretim verisi | fiziksel deney ve benzetim |
- MLOps: MLOps modeli sunucularda dağıtır ve izler; bu ders modeli bağlantısı olmayabilen cihazların içine yerleştirir.
- Robotik: Robotik algı, konum ve hareketi bütün olarak ele alır; bu ders robottaki modelin gerçek zamanda çalışmasını sağlar.
Uygulama
Uygulama Alanları
Hoparlör ve telefonda sürekli dinleyen model.
Görüntüyü buluta göndermeden nesne algılama.
Saatte düşme, adım ve kalp ritmi analizi.
Motor titreşiminden arıza belirtisi yakalamak.
Fotoğraf iyileştirme, çevrimdışı çeviri.
Pille çalışan sensörlerde ses ve zararlı tespiti.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Küçük cihazda model eğitilir. | Eğitim çoğunlukla sunucuda yapılır; cihazda yalnızca çıkarım çalışır. |
| Nicemleme doğruluğu mutlaka bozar. | 8 bitlik nicemleme çoğu modelde doğruluğu çok az düşürür; nicemlemeye duyarlı eğitim kaybı daha da azaltır. |
| Daha az parametre, daha hızlı modeldir. | Hız bellek erişimine, işlem türüne ve donanım desteğine bağlıdır; parametre sayısı yetmez. |
| Gömülü YZ yalnız internet yoksa gerekir. | Gizlilik, gecikme ve enerji için bağlantı olsa bile veriyi cihazda işlemek tercih edilir. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Warden ve Situnayake, TinyML, O'Reilly, 2019.
- Sze, Chen, Yang ve Emer, Efficient Processing of Deep Neural Networks, Morgan & Claypool, 2020.
- Han, Mao ve Dally, "Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding", ICLR, 2016.
- Howard ve ark., "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications", arXiv:1704.04861, 2017.
- Hinton, Vinyals ve Dean, "Distilling the Knowledge in a Neural Network", arXiv:1503.02531, 2015.