BIG GAME AREA

Sesli sohbette klavye sesi: RNNoise gerçekte neyi siliyor? (Ölçtük)

Klavye tıkırtıları tarayıcının gürültü engellemesinden neden geçer, RNNoise bunu nasıl çözer ve ölçümümüz — konuşma 0,7 dB içinde kaldı, tıkırtılar 9,3 dB kısıldı.

Big Game Area · Yayın · 3 dk okuma
Bu sayfada
  1. Klavye tıkırtıları neden geçiyor?
  2. RNNoise neyi farklı yapıyor?
  3. Nasıl ölçtük?
  4. Bu testin sınırları
  5. Her uygulamada işe yarayan beş çözüm
  6. Big Game Area'da nasıl açılır?

Kısaca: Klavye tıkırtıları kısa ve sert patlamalardır; klasik gürültü engelleyiciler ise fan ve uğultu gibi sürekli gürültüye göre tasarlanır. Bu yüzden tıkırtılar çoğu zaman geçer. RNNoise, kendi cihazında çalışan küçük bir sinir ağıdır; gürültüyü değil konuşmayı takip eder. Ölçümümüzde konuşma seviyesi yalnızca 0,7 dB değişirken klavye tıkırtıları 9,3 dB kısıldı.

Takım arkadaşların bastığın her tuşu duyuyorsa sorun genelde yalnızca mikrofonun değildir. Asıl mesele aradaki gürültü engelleyici ve onun hangi tür gürültü için tasarlandığıdır.

Klavye tıkırtıları neden geçiyor?

Gerçek zamanlı gürültü engellemenin çoğu, arka plandaki gürültüyü tahmin edip sinyalden çıkararak çalışır. Bu yöntem durağan gürültüde iyi iş görür: kasa fanı, klima, elektrik uğultusu. Tahmin oturur ve engelleyici her karede aşağı yukarı aynı şeyi siler.

Tuş vuruşu bunun tam tersidir: ani (transient) bir sestir. Birkaç milisaniyelik geniş bantlı bir enerji, ardından sessizlik. Yavaş güncellenen gürültü tahmini onu fark edene kadar tıkırtı çoktan bitmiş ve odadaki herkese ulaşmıştır. Kendi testlerimizde tarayıcının yerleşik engelleyicisi (Chromium'un WebRTC ses hattındaki noiseSuppression kısıtı) bazen tıkırtıları geçirdi, bazen de kelimelerin başını kırptı.

RNNoise neyi farklı yapıyor?

RNNoise, Opus codec'ini geliştiren Xiph.Org'un açık kaynaklı gürültü engelleyicisidir. Gürültüyü modellemek yerine klasik sinyal işlemeyi, konuşmanın neye benzediğini öğrenmiş küçük bir yinelemeli sinir ağıyla birleştirir:

  • Ses 48 kHz'te, 10 ms'lik karelerle işlenir.
  • Her karede ağ, 22 frekans bandının her biri için bir kazanç tahmin eder: o bandın ne kadarı ses, ne kadarı değil.
  • Karar her karede "konuşma böyle görünür" bilgisiyle verildiği için, sese benzemeyen bir tıkırtı arka plan gürültüsü olarak hiç "oturmamış" olsa bile kısılır.

Model, tarayıcı sekmesi içinde WebAssembly AudioWorklet olarak gerçek zamanlı çalışacak kadar küçüktür. Yani mikrofonun hiçbir şey gönderilmeden kendi cihazında temizlenir.

Nasıl ölçtük?

İzlenim değil, sayı istedik. Testte Big Game Area'da yayında olan derlemenin ta kendisi kullanıldı: aynı derlenmiş worklet ve WebAssembly modülü. Çalışmanın tekrarlanabilir olması için tarayıcıda çevrimdışı olarak (OfflineAudioContext) işlendi:

  • Konuşma: konuşan bir sesi temsil eden, perdesi değişen sentetik heceler.
  • Klavye: her 0,65 saniyede bir, üstüne eklenen sert bir tıkırtı.
  • Oda: ikisinin altında düşük seviyeli arka plan gürültüsü.

Ardından her parçanın seviyesini RNNoise öncesi ve sonrası ayrı ayrı ölçtük:

BantHamRNNoise sonrasıDeğişim
Konuşma (hece pencereleri)−26,9 dB−27,7 dB−0,7 dB
Klavye tıkırtısı−23,5 dB−32,8 dB−9,3 dB

Nasıl okunmalı: Konuşma seviyesinde 1 dB'in altındaki bir değişim kulakla zor fark edilir; yani sesin neredeyse hiç etkilenmeden geçer. 9 dB'lik düşüş ise büyüktür. Kabaca 10 dB "yarı yarıya daha sessiz" diye algılanır; tıkırtılar sesinle yarışmaktan çıkıp onun epey altına iner.

Bu testin sınırları

Bu sentetik bir sinyal; gerçek bir klavyede yazan gerçek bir kişinin kaydı değil. Mekanik switch'ler, masa rezonansı ve mikrofonun konumu sonucu değiştirir. 9,3 dB'i her kurulum için bir garanti olarak değil, algoritmanın kontrollü koşullarda tıkırtı benzeri bir sese ne yaptığının ölçüsü olarak gör. Ölçümü gerçek kayıtlarla tekrarlamayı planlıyoruz; yaptığımızda bu yazıyı güncelleyeceğiz.

Her uygulamada işe yarayan beş çözüm

Gürültü engelleme son savunma hattıdır. Şunlar hangi yazılımı kullanırsan kullan işe yarar:

  1. Klavyeyi değil mikrofonu taşı. Ağız kenarına birkaç santim mesafedeki kulaklık mikrofonu, tüm masayı dinleyen bir masaüstü mikrofona göre çok daha az klavye sesi alır.
  2. Masaüstü mikrofonu tuşlardan uzağa çevir. Masaüstü mikrofonların çoğu yönlüdür (kardioid): en iyi önünü, en az arkasını duyar. Klavyeyi mikrofonun arkasına ya da yanına koy.
  3. Giriş kazancını düşür, daha yakından konuş. Giriş seviyesi çok yüksekse her küçük ses de sesinle birlikte yükseltilir. Daha az kazanç ve daha yakın mikrofon, ses/tıkırtı oranını daha yazılım devreye girmeden iyileştirir.
  4. Klavyeyi sönümle. Masa matı alçak frekanslı tok sesleri emer; O-ring'ler ya da daha sessiz switch'ler tıkırtının kendisini azaltır.
  5. Kritik anlarda bas-konuş (push-to-talk) kullan. Callout'lar arasında hiçbir şey iletilmez.

Big Game Area'da nasıl açılır?

RNNoise varsayılan olarak açıktır. Odada Ses ayarları panelinden üç mod arasında geçiş yapabilirsin:

  • Güçlü (RNNoise) (varsayılan): yankı engelleme, otomatik kazanç ve RNNoise.
  • Standart (tarayıcı): karşılaştırma için tarayıcının kendi gürültü engellemesi.
  • Kapalı: yalnızca yankı engelleme ve otomatik kazanç, yani ham mikrofon.

Tarayıcın AudioWorklet'i çalıştıramazsa (örneğin WebAssembly engelliyse) görüşme düşmez. Ham mikrofon olduğu gibi iletilir ve ayarlar paneli bunu sana bildirir.

Hiçbir şey kurman gerekmez ve arkasında ücretli bir eklenti yoktur; model, kendi sunucularımızdan servis edilerek sayfanın içinde çalışır.

← Tüm yazılar