Sessiz iletişim için yüz hareketlerini izleyen sonar gözlükleri geliştirdiler

Cornell’de doktora öğrencisi olan Ruidong Zhang, ekibin kablosuz kulaklık kullanarak oluşturduğu benzer bir projeyi ve bundan önceki kameralara dayanan modelleri temel alan sistemi geliştirdi. Gözlük form faktörü, bir kamerayla yüzleşme veya kulağınıza bir şey koyma ihtiyacını ortadan kaldırıyor.

Cornell bilgi bilimi profesörü yardımcısı Cheng Zhang, “Sessiz konuşma tanımadaki çoğu teknoloji, önceden belirlenmiş bir dizi komutla sınırlıdır ve kullanıcının bir kamerayla yüzleşmesini veya bir kamera takmasını gerektirir ki bu ne pratik ne de mümkün” dedi.

Sessiz iletişim için yüz hareketlerini izleyen sonar gözlükleri geliştirdiler

Araştırmacılar, sistemin bir kullanıcının konuşma kalıplarını öğrenmek için yalnızca birkaç dakikalık eğitim verisi (örneğin, birkaç sayıyı okumak) gerektirdiğini söylüyor. Ardından, çalışmaya hazır olduğunda, yankı profillerini gerçek zamanlı olarak “yaklaşık %95 doğrulukla” analiz etmek için derin bir öğrenme algoritması kullanırken ağız hareketlerini algılayarak yüzünüze ses dalgaları gönderip alıyor.

Sistem bunu, veri işleme yükünü (kablosuz olarak) akıllı telefonunuza aktarıyor ve aksesuarın küçük ve göze çarpmayan bir şekilde kalmasını sağlıyor. Mevcut sürüm, akustik algılama için yaklaşık 10 saatlik pil ömrü sunuyor. Ek olarak, telefonunuzdan hiçbir veri çıkmıyor ve bu da gizlilik endişelerini ortadan kaldırıyor. Cheng Zhang, “Bu sistem için çok heyecanlıyız çünkü performans ve gizlilik konusunda alanı gerçekten ileriye taşıyor” dedi. “Küçük, düşük güç tüketimi ve gizliliğe duyarlı olması; bunların tümü, gerçek dünyada yeni, giyilebilir teknolojilerin uygulanması için önemli özellikler.”