Robotlar Beklenmedik Durumları Önceden Planlayacak
Robotlar, daha önce karşılaşmadıkları ortamlarda nasıl hareket edeceklerini önceden tahmin etmeyi öğrenebilir. Danijar Hafner’ın geliştirdiği dünya modelleri ve pekiştirmeli öğrenme yaklaşımı, evler gibi değişken ortamlarda çalışabilecek makineler üretmeyi hedefliyor.
San Francisco’nun SoMa bölgesindeki yeni bir girişimin ofisi şimdilik büyük ölçüde boş. Adı kapıda yer almayan ve gizlilik içinde faaliyet gösteren şirketin merkezinde az sayıda eşya bulunuyor; buna karşın farklı boyutlarda insansı robotlar, mekânın ortasındaki raflara kukla gibi asılmış durumda.
Girişimin kurucusu 31 yaşındaki Danijar Hafner, şirketinin ayrıntılarını henüz açıklamıyor. Ancak çalışmalarının, yapay zekânın eğitim sırasında hiç karşılaşmadığı ortamlarda yolunu bulmasını sağlama hedefinin devamı olduğunu söylüyor. Çin’den getirilen insansı robotlar da bu yaklaşımın fiziksel dünyadaki yeni aşamasını oluşturuyor.
Robotlar için sanal dünya modelleri
Hafner, bunun için “model tabanlı pekiştirmeli öğrenme” yönteminden yararlanıyor. Bu yaklaşımda yapay zekâ, fiziksel gerçekliği taklit eden dünya modelleri içinde eğitiliyor. Ajan, bu modeli gerçek dünyanın bir simülasyonu gibi kullanıyor; farklı eylemlerin olası sonuçlarını tahmin ederek geleceğe ilişkin planlar yapmayı öğreniyor.
Bu yöntem, robotların önceden denenmemiş koşullara uyum sağlamasına yardımcı olabilir. Örneğin bir robotun bir insanın evinde çalışabilmesi için daha önce görmediği bir kat planını, mobilyaları ve beklenmedik fiziksel durumları yönetebilmesi gerekiyor. Hafner’ın yaklaşımı, robotların her olası durum için gerçek dünyada uzun süreli deneme-yanılma eğitiminden geçmesi gerekliliğini azaltmayı amaçlıyor.
Hafner’ın araştırmaları önce video oyunlarında sınandı. Geliştirdiği PlaNet, ajanların eylemlerini geleceği planlayarak seçmesini sağladı. Dreamer 2, dünya modeli kullanan bir sistemle Atari 2600 oyunlarında insan seviyesinde performansa ulaşırken Dreamer 3, Minecraft’ta elmas çıkarma görevini kendi başına tamamladı. Dreamer 4 ise kayıtlı oyun videolarından oluşan çevrimdışı verilerle, oyunla doğrudan etkileşime girmeden elmas madenciliği yapmayı öğrendi.
Hafner daha sonra bu çalışmaları fiziksel robotlara taşımaya başladı. DayDreamer projesi, Dreamer algoritmasını kullanarak robotların yeni ortamlarda çalışmasına ve daha önce özel olarak eğitilmedikleri deneyimlere, örneğin devrilmeye veya itilip düşmeye, tepki vermesine olanak tanıdı.
Almanya’nın kuzeydoğusundaki kırsal bir kasabada büyüyen Hafner, programlamayı bir komşusundan öğrendi ve lise döneminde çevrim içi yapay zekâ dersleri almaya başladı. 2015’te Potsdam’daki Hasso Plattner Institute’ta mühendislik eğitimi görürken Google Brain’de öğrenci araştırmacı olarak çalışmaya başladı. Daha sonra Google Brain ve Google DeepMind bünyesinde Birleşik Krallık, Kanada ve ABD’de çeşitli görevler üstlendi; Geoffrey Hinton ve “Attention Is All You Need” makalesinin ortak yazarı Ashish Vaswani gibi araştırmacılarla çalıştı.
Hafner’ın Google’daki eski yöneticilerinden Timothy Lillicrap, onu kurumun en başarılı araştırmacıları arasında gösteriyor. Hafner, 2025 sonbaharında Google DeepMind’dan ayrılarak kendi girişimini kurdu. Yeni şirketinin sonraki adımlarını açıklamasa da hedefinin “dünyayı değiştirecek” bir problemi çözmek olduğunu belirtiyor.
