Konuşma Tanıma ve Ses İşleme

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım III: Sinyal, Görüntü ve Ses
Sesin sayısallaşmasıSpektrogram ve MFCCAkustik modelDil modeliKonuşmacı ve olayKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Ses dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır?

Konuşma tanıma ve ses işleme, mikrofondan gelen ses dalgasını çözümleyip ondan sözcükleri, konuşmacının kimliğini ya da ortamdaki olayları çıkarmayı inceler. Ses önce zaman-frekans özniteliklerine çevrilir; akustik model ve dil modeli birlikte en olası metni bulur.

Bir bakışta

Yaklaşım

akustik sinyal ve dil modeli

Girdi

ses dalgası

Çıktı

metin, konuşmacı, ses olayı

Başarı ölçütü

sözcük hata oranı (WER)

Matematik yükü

orta-yüksek

Veri ihtiyacı

çok saatlik kayıt

Giriş

Kısa Tarihçe

1952

Bell Laboratuvarları'nın Audrey sistemi tek bir konuşmacının söylediği rakamları tanır.

1962

IBM Shoebox, on altı İngilizce sözcüğü ve rakamları tanıyarak tanıtılır.

1970'ler

DARPA destekli projelerde Carnegie Mellon'ın Harpy sistemi yaklaşık bin sözcük tanır.

1980'ler

Saklı Markov modelleri (HMM) konuşma tanımanın standart yöntemi olur.

2012

Derin sinir ağları akustik modellemede Gauss karışımlarının yerini almaya başlar.

2022

OpenAI'ın Whisper modeli yaklaşık 680 bin saatlik çok dilli veriyle uçtan uca eğitilir.

Ders

Temel Kavramlar

Örnekleme

Ses dalgasını saniyede binlerce kez ölçüp sayıya çevirmek.

Spektrogram

Kısa zamanlı Fourier dönüşümüyle zaman-frekans görüntüsü.

MFCC

İnsan kulağının frekans algısına uyarlanmış öznitelikler.

Akustik model

Ses parçasından ses birimini (fonem) tahmin eder.

Dil modeli

Hangi sözcük dizisinin daha olası olduğunu söyler.

Kod çözme

Işın aramasıyla en olası sözcük dizisini bulmak.

Konuşmacı tanıma

Sesin kime ait olduğunu doğrulamak ya da bulmak.

Sözcük hata oranı

WER: ekleme, silme ve değiştirme hatalarının oranı.

Ders

Tipik İş Akışı

Kaydetmikrofon,16 kHzÖznitelikçıkarspektrogram,MFCCAkustikmodelses birimiolasılığıKod çözdil modeli,ışın aramasıMetinWER ileölç
Örnek: Bir sesli asistan "yarın hava nasıl" sorusunu 16 kHz'te kaydeder, 25 ms'lik çerçevelerden spektrogram çıkarır, akustik model her çerçeve için ses birimi olasılıkları verir ve dil modeli bunları en olası cümleye dönüştürür. Metin, anlam için NLP'ye aktarılır.

Dene

Akıllı Ev Komutu Tanıyor

Akıllı ev asistanı dört sesli komutu tanımalı: evet, hayır, dur, başla. Bir komut seçin, konuşmacıyı değiştirin, gürültüyü artırın; sistem sesi kayıtlı şablonlarla karşılaştırır.

Ses önce spektrograma, yani zaman–frekans resmine çevrilir. Aynı sözcük hızlı ya da yavaş söylenebilir; DTW zaman eksenini esneterek eşleştirir. Gürültü arttıkça güven düşer.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Sayısal Sinyal İşlemespektrogram, MFCC, süzgeçler
Analiz (Kalkülüs)karmaşık sayılar, integral ve Fourier serilerine giriş
ProgramlamaPython ile dizi işlemleri ve dosyadan ses okuma

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Sayısal Sinyal İşleme dersini temel alırspektrogram, MFCC, süzgeçler
yöntem paylaşırDerin Öğrenme ile yöntem paylaşıruçtan uca konuşma tanıma
yöntem paylaşırDoğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşırdil modeli, konuşmadan metne

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütKonuşma ve Ses İşlemeSayısal Sinyal İşlemeDoğal Dil İşleme
Temel soruSes dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır?Örneklenmiş sinyaller nasıl çözümlenir, süzülür ve dönüştürülür?Bilgisayar insan dilini nasıl çözümler, anlar ve üretir?
Yaklaşımakustik sinyal ve dil modelimatematiksel dönüşüm ve süzgeçdilbilim, istatistik ve derin öğrenme
Girdises dalgasıörneklenmiş sinyalmetin
Çıktımetin, konuşmacı, ses olayısüzülmüş sinyal, spektrumetiket, çeviri, özet, yanıt
Başarı ölçütüsözcük hata oranı (WER)sinyal-gürültü oranı, frekans yanıtıdoğruluk, BLEU, insan değerlendirmesi
Matematik yüküorta-yüksekyüksek: karmaşık sayı, Fourierorta
Veri ihtiyacıçok saatlik kayıtöğrenme yok; sinyal yeterçok metin (derlem)
  • Sayısal Sinyal İşleme: Sinyal işleme her türlü sinyali süzer ve dönüştürür; bu ders ses ve konuşmaya özgü öznitelik ve modellere odaklanır.
  • Doğal Dil İşleme: NLP elinde metin olduğunu varsayar; bu ders o metni ses dalgasından elde eder ve ses olaylarını da işler.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütKonuşma ve Ses İşlemeDerin ÖğrenmeBiyometri
Temel soruSes dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır?Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?Bir kişi yüzünden, parmak izinden ya da sesinden nasıl tanınır?
Yaklaşımakustik sinyal ve dil modeliçok katmanlı temsil öğrenmeeşleme ve doğrulama
Girdises dalgasıham veri: görüntü, metin, sesyüz, parmak izi, iris, ses
Çıktımetin, konuşmacı, ses olayıöğrenilmiş temsil ve tahminkimlik kararı
Başarı ölçütüsözcük hata oranı (WER)doğruluk, kayıp, ölçeklenmeFAR, FRR, EER
Matematik yüküorta-yüksekyüksek: türev, matris, olasılıkorta
Veri ihtiyacıçok saatlik kayıtçok; GPU gerekirkişi başına az örnek
  • Derin Öğrenme: Derin öğrenme genel ağ mimarileri sunar; bu ders onları sesin zaman-frekans yapısına ve hizalama sorununa uyarlar.
  • Biyometri: Biyometri sesi yüz ve parmak izi gibi bir kimlik kanıtı olarak kullanır; bu ders sesin içeriğini de çözümler.

Uygulama

Uygulama Alanları

Sesli asistanlar

Komutları anlayıp telefonu ya da evi yönetmek.

Altyazı ve döküm

Video, toplantı ve ders kayıtlarını metne dökmek.

Çağrı merkezi

Görüşmeleri çözümlemek, yönlendirmek.

Konuşmacı doğrulama

Sesle bankacılık ve erişim denetimi.

Ses olayı tespiti

Cam kırılması, siren, öksürük algılama.

Konuşma sentezi

Metni doğal sesli konuşmaya çevirmek.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

librosaKaldiPraattorchaudioESPnetSpeechBrainWhisper

Tanınmış veri setleri

TIMITLibriSpeechMozilla Common VoiceSwitchboardVoxCelebAudioSet

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Konuşma tanıma sesi doğrudan sözcüğe eşler.Aynı sözcük farklı ağız, hız ve gürültüde çok farklı ses verir; dil modeli belirsizliği çözer.
Kayıt ne kadar yüksek sesliyse o kadar iyi.Kırpılma (clipping) ve yankı tanımayı bozar; temiz ve dengeli kayıt önemlidir.
İngilizcede iyi çalışan model Türkçede de çalışır.Her dil için yeterli veri gerekir; eklemeli Türkçede sözcük dağarcığı sorunu ayrıca çözülür.
Ses işleme yalnız konuşmadır.Müzik, çevre sesleri ve tıbbi sesler (kalp, öksürük) de dersin konusudur.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Konuşma tanıma mühendisiSes işleme mühendisiAraştırmacıGömülü ses yazılımcısı
Bu dersten sonra metnin anlamı için doğal dil işlemeye, cihaz üzerinde çalışan sesli asistanlar için gömülü YZ'ye ya da sesle kimlik doğrulama için biyometrik sistemlere geçilebilir. Sayısal sinyal işleme bilgisi ise konunun matematiğini derinleştirir.

Sonrası

Kaynaklar

  • Rabiner ve Juang, Fundamentals of Speech Recognition, Prentice Hall, 1993.
  • Huang, Acero ve Hon, Spoken Language Processing, Prentice Hall, 2001.
  • Jurafsky ve Martin, Speech and Language Processing, 2. baskı, Prentice Hall, 2009.
  • Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Proceedings of the IEEE 77(2), 1989.

Son

Bölüm 19: Konuşma Tanıma ve Ses İşleme
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.