Robot Dudakları Tekinsiz Vadiyi Aşıyor
Columbia Engineering araştırmacıları, robotun dudak hareketlerini önceden yazılmış kurallar yerine gözlem yoluyla öğrenmesini sağladı. Robot, 26 motorla kontrol edilen yüzünü aynada keşfederken insan konuşma ve şarkı videolarından farklı dillerdeki seslere uyumlu dudak hareketleri üretmeyi öğrendi.
İnsanlar yüz yüze konuşurken dikkatlerinin önemli bir bölümünü dudak hareketlerine yöneltiyor. Buna karşın robotların konuşma sırasında ağızlarını doğal biçimde hareket ettirmesi hâlâ zor. Columbia Engineering ekibinin geliştirdiği yeni sistem, robotların bu hareketleri sabit kurallarla değil, gözlem ve deneme yoluyla öğrenebileceğini gösteriyor.
15 Ocak'ta duyurulan ve Science Robotics dergisinde yayımlanan çalışmada robot, 26 ayrı yüz motorunu kullanarak konuşma ve şarkı söylemeye uygun dudak hareketleri oluşturdu. Sistem, birden fazla dildeki sesleri taklit edebildi ve araştırmacıların robotun yapay zekâ tarafından üretilen ilk albümü olarak tanımladığı “hello world_” projesinden bir şarkıya eşlik etti.
Robot yüzünü aynada öğreniyor
Robotun eğitimi aynanın karşısında başladı. Binlerce rastgele yüz ifadesi deneyen sistem, hangi motor hareketlerinin belirli ağız ve yüz şekillerini oluşturduğunu görsel geri bildirimle keşfetti. Araştırmacılar bu yaklaşımda, görsel bilgiyi eyleme dönüştüren bir “vision-to-action” dil modeli kullandı.
Robot kendi yüzünün nasıl çalıştığını öğrendikten sonra insan konuşmalarını ve şarkılarını içeren saatlerce videoyu inceledi. Seslerdeki değişimlerle ağız şekilleri arasındaki ilişkiyi öğrenen sistem, duyduğu sesleri doğrudan motor hareketleriyle eşleştirdi. Denemelerde farklı diller, konuşma biçimleri ve müzik örnekleri kullanıldı; robot, seslerin anlamını bilmeden de ritme uygun dudak hareketleri üretebildi.
Çalışmanın sonuçları henüz kusursuz değil. Araştırmacılar özellikle “B” gibi sert seslerde ve dudakların öne doğru büzülmesini gerektiren “W” sesinde zorlanıldığını belirtiyor. Yine de ekip, daha fazla gözlem ve pratikle bu sorunların azalabileceğini düşünüyor.
Robot yüz ifadeleri için yeni bir adım
Dudak senkronizasyonu, ekibin hedeflediği daha geniş iletişim becerilerinin yalnızca bir parçası. Araştırmacılara göre bu yetenek, ChatGPT veya Gemini gibi konuşma sistemleriyle birleştirildiğinde robotların insanlarla etkileşiminde yüz ifadelerine dayalı daha zengin bir iletişim kanalı oluşturabilir. Konuşma bağlamı genişledikçe, robotun jest ve ifadelerinin duruma daha uygun hâle gelmesi bekleniyor.
İnsanlarla etkileşim kuracak robotlarda yüz hareketlerinin, yürüme ve kavrama gibi fiziksel beceriler kadar önemli olabileceğini vurgulayan ekip, bu teknolojinin eğlence, eğitim, sağlık ve yaşlı bakımında kullanılabileceğini belirtiyor. Bununla birlikte araştırmacılar, insanlarda duygusal karşılık yaratabilen robotların etik riskler taşıdığını ve ilerlemenin dikkatli yürütülmesi gerektiğini ifade ediyor.
