Konuşma Tanıma ve Ses İşleme
Giriş
Ders Hangi Soruyu Sorar?
Konuşma tanıma ve ses işleme, mikrofondan gelen ses dalgasını çözümleyip ondan sözcükleri, konuşmacının kimliğini ya da ortamdaki olayları çıkarmayı inceler. Ses önce zaman-frekans özniteliklerine çevrilir; akustik model ve dil modeli birlikte en olası metni bulur.
Bir bakışta
akustik sinyal ve dil modeli
ses dalgası
metin, konuşmacı, ses olayı
sözcük hata oranı (WER)
orta-yüksek
çok saatlik kayıt
Giriş
Kısa Tarihçe
Bell Laboratuvarları'nın Audrey sistemi tek bir konuşmacının söylediği rakamları tanır.
IBM Shoebox, on altı İngilizce sözcüğü ve rakamları tanıyarak tanıtılır.
DARPA destekli projelerde Carnegie Mellon'ın Harpy sistemi yaklaşık bin sözcük tanır.
Saklı Markov modelleri (HMM) konuşma tanımanın standart yöntemi olur.
Derin sinir ağları akustik modellemede Gauss karışımlarının yerini almaya başlar.
OpenAI'ın Whisper modeli yaklaşık 680 bin saatlik çok dilli veriyle uçtan uca eğitilir.
Ders
Temel Kavramlar
Ses dalgasını saniyede binlerce kez ölçüp sayıya çevirmek.
Kısa zamanlı Fourier dönüşümüyle zaman-frekans görüntüsü.
İnsan kulağının frekans algısına uyarlanmış öznitelikler.
Ses parçasından ses birimini (fonem) tahmin eder.
Hangi sözcük dizisinin daha olası olduğunu söyler.
Işın aramasıyla en olası sözcük dizisini bulmak.
Sesin kime ait olduğunu doğrulamak ya da bulmak.
WER: ekleme, silme ve değiştirme hatalarının oranı.
Ders
Tipik İş Akışı
Dene
Akıllı Ev Komutu Tanıyor
Akıllı ev asistanı dört sesli komutu tanımalı: evet, hayır, dur, başla. Bir komut seçin, konuşmacıyı değiştirin, gürültüyü artırın; sistem sesi kayıtlı şablonlarla karşılaştırır.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Sayısal Sinyal İşleme | spektrogram, MFCC, süzgeçler |
| Analiz (Kalkülüs) | karmaşık sayılar, integral ve Fourier serilerine giriş |
| Programlama | Python ile dizi işlemleri ve dosyadan ses okuma |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Bu ders Sayısal Sinyal İşleme dersini temel alır | spektrogram, MFCC, süzgeçler |
| yöntem paylaşır | Derin Öğrenme ile yöntem paylaşır | uçtan uca konuşma tanıma |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | dil modeli, konuşmadan metne |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Konuşma ve Ses İşleme | Sayısal Sinyal İşleme | Doğal Dil İşleme |
|---|---|---|---|
| Temel soru | Ses dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır? | Örneklenmiş sinyaller nasıl çözümlenir, süzülür ve dönüştürülür? | Bilgisayar insan dilini nasıl çözümler, anlar ve üretir? |
| Yaklaşım | akustik sinyal ve dil modeli | matematiksel dönüşüm ve süzgeç | dilbilim, istatistik ve derin öğrenme |
| Girdi | ses dalgası | örneklenmiş sinyal | metin |
| Çıktı | metin, konuşmacı, ses olayı | süzülmüş sinyal, spektrum | etiket, çeviri, özet, yanıt |
| Başarı ölçütü | sözcük hata oranı (WER) | sinyal-gürültü oranı, frekans yanıtı | doğruluk, BLEU, insan değerlendirmesi |
| Matematik yükü | orta-yüksek | yüksek: karmaşık sayı, Fourier | orta |
| Veri ihtiyacı | çok saatlik kayıt | öğrenme yok; sinyal yeter | çok metin (derlem) |
- Sayısal Sinyal İşleme: Sinyal işleme her türlü sinyali süzer ve dönüştürür; bu ders ses ve konuşmaya özgü öznitelik ve modellere odaklanır.
- Doğal Dil İşleme: NLP elinde metin olduğunu varsayar; bu ders o metni ses dalgasından elde eder ve ses olaylarını da işler.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Konuşma ve Ses İşleme | Derin Öğrenme | Biyometri |
|---|---|---|---|
| Temel soru | Ses dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır? | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? | Bir kişi yüzünden, parmak izinden ya da sesinden nasıl tanınır? |
| Yaklaşım | akustik sinyal ve dil modeli | çok katmanlı temsil öğrenme | eşleme ve doğrulama |
| Girdi | ses dalgası | ham veri: görüntü, metin, ses | yüz, parmak izi, iris, ses |
| Çıktı | metin, konuşmacı, ses olayı | öğrenilmiş temsil ve tahmin | kimlik kararı |
| Başarı ölçütü | sözcük hata oranı (WER) | doğruluk, kayıp, ölçeklenme | FAR, FRR, EER |
| Matematik yükü | orta-yüksek | yüksek: türev, matris, olasılık | orta |
| Veri ihtiyacı | çok saatlik kayıt | çok; GPU gerekir | kişi başına az örnek |
- Derin Öğrenme: Derin öğrenme genel ağ mimarileri sunar; bu ders onları sesin zaman-frekans yapısına ve hizalama sorununa uyarlar.
- Biyometri: Biyometri sesi yüz ve parmak izi gibi bir kimlik kanıtı olarak kullanır; bu ders sesin içeriğini de çözümler.
Uygulama
Uygulama Alanları
Komutları anlayıp telefonu ya da evi yönetmek.
Video, toplantı ve ders kayıtlarını metne dökmek.
Görüşmeleri çözümlemek, yönlendirmek.
Sesle bankacılık ve erişim denetimi.
Cam kırılması, siren, öksürük algılama.
Metni doğal sesli konuşmaya çevirmek.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Konuşma tanıma sesi doğrudan sözcüğe eşler. | Aynı sözcük farklı ağız, hız ve gürültüde çok farklı ses verir; dil modeli belirsizliği çözer. |
| Kayıt ne kadar yüksek sesliyse o kadar iyi. | Kırpılma (clipping) ve yankı tanımayı bozar; temiz ve dengeli kayıt önemlidir. |
| İngilizcede iyi çalışan model Türkçede de çalışır. | Her dil için yeterli veri gerekir; eklemeli Türkçede sözcük dağarcığı sorunu ayrıca çözülür. |
| Ses işleme yalnız konuşmadır. | Müzik, çevre sesleri ve tıbbi sesler (kalp, öksürük) de dersin konusudur. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Rabiner ve Juang, Fundamentals of Speech Recognition, Prentice Hall, 1993.
- Huang, Acero ve Hon, Spoken Language Processing, Prentice Hall, 2001.
- Jurafsky ve Martin, Speech and Language Processing, 2. baskı, Prentice Hall, 2009.
- Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Proceedings of the IEEE 77(2), 1989.