Gömülü Yapay Zekâ

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım VI: Sistem ve Uygulama
Kaynak kısıtlarıNicemlemeBudama ve damıtmaVerimli mimarilerCihaz ve hızlandırıcıKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Yapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır?

Gömülü yapay zekâ, eğitilmiş modelleri telefon, kamera ya da mikrodenetleyici gibi belleği, işlem gücü ve enerjisi kısıtlı cihazlarda çalıştırmayı inceler. Ders modeli nicemleme, budama ve damıtmayla küçültmeyi, cihaza taşımayı ve gecikmeyle enerjiyi ölçmeyi kapsar; en uç biçimine TinyML denir.

Bir bakışta

Yaklaşım

kaynağı kısıtlı çıkarım

Girdi

eğitilmiş model, cihaz kısıtları

Çıktı

küçük ve hızlı model

Başarı ölçütü

gecikme, enerji, bellek

Matematik yükü

orta

Veri ihtiyacı

eğitim verisi zaten var

Giriş

Kısa Tarihçe

2015

Hinton, Vinyals ve Dean bilgi damıtmayı tanıtır: büyük modelin bilgisi küçük modele aktarılır.

2016

Han ve ark. Deep Compression ile budama ve nicemlemeyi birleştirip ağları onlarca kat küçültür.

2017

MobileNets yayımlanır, TensorFlow Lite duyurulur: telefonda derin ağ çalıştırmak olağanlaşır.

2018

Google, uç cihazlar için Edge TPU hızlandırıcısını duyurur.

2019

İlk tinyML zirvesi yapılır; Warden ve Situnayake TinyML kitabını yayımlar.

2020

MCUNet, ImageNet sınıflandırmasını bir mikrodenetleyicide %70'in üzerinde doğrulukla çalıştırır.

Ders

Temel Kavramlar

Nicemleme

32 bit kayan nokta yerine 8 bit ya da daha az tamsayı.

Budama

Önemsiz ağırlık, kanal ya da katmanları atmak.

Bilgi damıtma

Küçük öğrenci model büyük öğretmeni taklit eder.

Verimli mimariler

MobileNet, derinlemesine ayrılabilir evrişim.

Çıkarım motoru

Modeli cihazda çalıştıran küçük yazılım katmanı.

Hızlandırıcılar

NPU, DSP, Edge TPU: sinir ağına özel donanım.

Bellek bütçesi

Birkaç yüz KB SRAM ve flash: ağırlık ve ara sonuçlar.

Gecikme ve enerji

Doğruluk kadar önemli iki başarım ölçütü.

Ders

Tipik İş Akışı

Eğitsunucuda,tam duyarlıkKüçültnicemleme,budamaDönüştürTFLite, ONNXCihazayükleMCU, telefon,kameraÇalıştırve ölçgecikme,enerji
Örnek: Anahtar sözcük algılayan küçük bir ağ bilgisayarda 32 bitlik kayan noktayla eğitilir, 8 bitlik tamsayıya nicemlenir ve birkaç yüz kilobayt belleği olan bir mikrodenetleyiciye yüklenir. Cihaz mikrofonu sürekli dinler, sesi buluta göndermez ve çok az güç harcar.

Dene

Modeli Mikrodenetleyiciye Sığdır

Bir motorun üstündeki titreşim sensörü arızayı kendisi tanımalı, ama işlemcinin belleği 512 KB. Ağırlıkları kaç bitle saklayacağınızı seçin; boyut, hız ve doğruluk birlikte değişir.

● normal ● dengesizlik ● rulman arızası. Ağ burada eğitildi (63 ağırlık); boyut, aynı oranla 300 bin ağırlıklı gerçek model için.
Gömülü yapay zekâ modeli küçültmeyi işin parçası sayar: 8 bit nicemleme çoğu zaman doğruluğu korur, belleği dörtte bire indirir. 2 bitte ise karar sınırları dağılır.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Derin Öğrenmenicemleme, budama, küçük modeller
Mikroişlemcilerbellek, yazmaç, kesme ve çevre birimleri: cihazın kısıtlarını anlamak
C ile Programlamagömülü yazılımın dili; işaretçiler ve sabit bellek yönetimi

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
uygulamaBu ders Derin Öğrenme yöntemlerini uygularnicemleme, budama, küçük modeller
yöntem paylaşırRobotik ve Robot Görüsü ile yöntem paylaşırcihaz üzerinde gerçek zamanlı çıkarım
yöntem paylaşırMakine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşırmodeli cihazlara dağıtma ve güncelleme
yöntem paylaşırGPU Programlama ve Paralel Hesaplama ile yöntem paylaşırdonanım hızlandırıcılar

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütGömülü YZDerin ÖğrenmeGPU ve Paralel Hesaplama
Temel soruYapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır?Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?Binlerce çekirdek aynı hesabı nasıl paylaşır?
Yaklaşımkaynağı kısıtlı çıkarımçok katmanlı temsil öğrenmeveri paralel hesaplama
Girdieğitilmiş model, cihaz kısıtlarıham veri: görüntü, metin, sesparalelleştirilebilir algoritma
Çıktıküçük ve hızlı modelöğrenilmiş temsil ve tahminhızlandırılmış program
Başarı ölçütügecikme, enerji, bellekdoğruluk, kayıp, ölçeklenmehızlanma, bellek bant genişliği
Matematik yüküortayüksek: türev, matris, olasılıkdüşük-orta
Veri ihtiyacıeğitim verisi zaten varçok; GPU gerekirgerekmez
  • Derin Öğrenme: Derin öğrenme doğruluk için modeli büyütür; bu ders aynı modeli doğruluğu az kaybederek küçültür.
  • GPU ve Paralel Hesaplama: GPU programlama büyük hızlandırıcılardan en yüksek başarımı alır; bu ders birkaç miliwatt ile çalışan cihazlarda çıkarım yapar.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütGömülü YZMLOpsRobotik
Temel soruYapay zekâ modelleri küçük, düşük güçlü cihazlarda nasıl çalışır?Bir model laboratuvardan üretime nasıl taşınır ve orada nasıl ayakta tutulur?Bir makine fiziksel dünyayı nasıl algılar, konumunu nasıl bilir ve nasıl hareket eder?
Yaklaşımkaynağı kısıtlı çıkarımyazılım mühendisliği ve MÖalgıla, planla, eyle döngüsü
Girdieğitilmiş model, cihaz kısıtlarıeğitilmiş model, veri boru hattıalgılayıcı ölçümleri
Çıktıküçük ve hızlı modelçalışan ve izlenen hizmetmotor komutları, yol
Başarı ölçütügecikme, enerji, bellekgecikme, kesintisizlik, veri kaymasıgörev başarısı, güvenlik
Matematik yüküortadüşükyüksek: dönüşümler, denetim
Veri ihtiyacıeğitim verisi zaten varakan üretim verisifiziksel deney ve benzetim
  • MLOps: MLOps modeli sunucularda dağıtır ve izler; bu ders modeli bağlantısı olmayabilen cihazların içine yerleştirir.
  • Robotik: Robotik algı, konum ve hareketi bütün olarak ele alır; bu ders robottaki modelin gerçek zamanda çalışmasını sağlar.

Uygulama

Uygulama Alanları

Uyandırma sözcüğü

Hoparlör ve telefonda sürekli dinleyen model.

Akıllı kamera

Görüntüyü buluta göndermeden nesne algılama.

Giyilebilir cihazlar

Saatte düşme, adım ve kalp ritmi analizi.

Kestirimci bakım

Motor titreşiminden arıza belirtisi yakalamak.

Telefonda YZ

Fotoğraf iyileştirme, çevrimdışı çeviri.

Tarım ve çevre

Pille çalışan sensörlerde ses ve zararlı tespiti.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

TensorFlow LiteONNX RuntimeExecuTorchEdge ImpulseCMSIS-NNArduinoNVIDIA Jetson

Tanınmış veri setleri

Speech CommandsVisual Wake WordsMNISTCIFAR-10ImageNetMLPerf Tiny
Başarı yalnız doğrulukla ölçülmez: aynı tabloya model boyutu, tepe bellek, gecikme ve enerji de yazılır.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Küçük cihazda model eğitilir.Eğitim çoğunlukla sunucuda yapılır; cihazda yalnızca çıkarım çalışır.
Nicemleme doğruluğu mutlaka bozar.8 bitlik nicemleme çoğu modelde doğruluğu çok az düşürür; nicemlemeye duyarlı eğitim kaybı daha da azaltır.
Daha az parametre, daha hızlı modeldir.Hız bellek erişimine, işlem türüne ve donanım desteğine bağlıdır; parametre sayısı yetmez.
Gömülü YZ yalnız internet yoksa gerekir.Gizlilik, gecikme ve enerji için bağlantı olsa bile veriyi cihazda işlemek tercih edilir.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Gömülü yazılım mühendisiUç YZ mühendisiMakine öğrenmesi mühendisiDonanım-yazılım tasarımcısıIoT çözüm mimarı
Gömülü YZ, derin öğrenmeyi donanıma bağlar: buradan robotik, otonom araçlar ve nesnelerin interneti uygulamalarına geçilir. Donanımda derinleşmek isteyenler için hızlandırıcı tasarımı ve derleyiciler, yazılımda ise MLOps ile cihaz filolarının güncellenmesi sonraki adımlardır.

Sonrası

Kaynaklar

  • Warden ve Situnayake, TinyML, O'Reilly, 2019.
  • Sze, Chen, Yang ve Emer, Efficient Processing of Deep Neural Networks, Morgan & Claypool, 2020.
  • Han, Mao ve Dally, "Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding", ICLR, 2016.
  • Howard ve ark., "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications", arXiv:1704.04861, 2017.
  • Hinton, Vinyals ve Dean, "Distilling the Knowledge in a Neural Network", arXiv:1503.02531, 2015.

Son

Bölüm 36: Gömülü Yapay Zekâ
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.