Ajanlar Bilimsel Kanıtları Neden Yok Sayıyor?

ChatGPT, Gemini ve Grok’a yatay tutulan bir kalemin bir ucu bırakıldığında ne olacağı sorulduğunda, üçü de desteklenmeyen ucun aşağı doğru döneceğini söyledi. YouTuber FatherPhi ise deneyi canlı videoda gerçekleştirdiğinde kalemi tek eliyle yatay tutmaya devam etti. Buna rağmen sohbet botları, gördükleri yeni kanıta dayanarak ilk tahminlerini değiştirmedi.

Botlar kalemin rengini ve markasını doğru biçimde tanıyabildi. Sorun görüntüyü algılamaktan çok, yeni bilgiyi mevcut çıkarımlarıyla birleştirememeleriydi. Sapienza University of Rome’dan bilgisayar bilimci Walter Quattrociocchi’ye göre bu örnekler, büyük dil modellerinin olaylar arasında insanlar gibi neden-sonuç ilişkisi kurarak düşünmediğini gösteriyor.

Ajanlar deney sonuçlarını da göz ardı etti

Yeni bir çalışma, benzer sorunu kimya araştırmalarındaki laboratuvar görevlerinde inceledi. Büyük dil modelleri üzerine kurulan AI ajanları, deneyleri çalıştırmak ve sonuçları almak için dijital araçlara, bazı durumlarda ise gerçek laboratuvar ekipmanına erişebildi. Araştırmacılar, bu ajanların gerçekleştirdiği 619 bilimsel akıl yürütme görevindeki her adımı değerlendirdi.

Ajanlar görevlerin yüzde 68’inde en az bir kez kanıtları görmezden geldi. Görevlerin yüzde 53’ünde destekleyici kanıt olmadan iddialarda bulundular. Çelişkili kanıtları kullanarak sonuçlarını başarıyla değiştirdikleri görevlerin oranı ise yalnızca yüzde 26 oldu. Araştırmada bir AI ajanı, kimya araştırmalarıyla ilgili soruları yanıtlamak üzere atomik kuvvet mikroskobundan veri toplamak için de kullanıldı.

Indian Institute of Technology Delhi’den malzeme bilimci N.M. Anoop Krishnan, bilim insanlarının hipotez kurup deney yaptığını, ardından sonuçlara göre ilk fikirlerini gözden geçirdiğini belirtiyor. Ona göre AI sistemleri, araştırma planının yanlış olduğunu açıkça gösteren kanıtlarla karşılaşsa bile hipotezini veya izlediği yolu değiştirmeyi reddedebiliyor. Friedrich Schiller University Jena’dan Kevin Jablonka ise bilimsel bir sonuca güvenmek için yalnızca sonucun değil, sonuca götüren sürecin de güvenilir olması gerektiğini vurguluyor.

Çalışmanın geliştirdiği değerlendirme yöntemi, AI sistemlerinin yalnızca doğru cevaba ulaşıp ulaşmadığını değil, bu cevaba hangi adımlarla vardığını da ölçüyor. Araştırmacılar üç farklı büyük dil modelini, biri yalnızca araç erişimi sağlayan, diğeri ise modelden çözüm sürecini açıklamasını isteyen iki farklı AI ajanı yapısıyla test etti.

Akıl yürütme modelleri soruları otomatik olarak adımlara ayırıp çözmeye çalışsa da Arizona State University’den Subbarao Kambhampati, bu sürecin gerçek düşünmeden çok düşünüyormuş gibi görünme ihtimali bulunduğunu söylüyor. Bu modeller bazı problemlerde başarılı olsa da ara adımları doğru olduğu hâlde yanlış sonuca ulaşabiliyor veya anlamsız akıl yürütme örnekleriyle eğitildiklerinde bile doğru cevap verebiliyor.

Araştırmacılara göre AI ajanları, hedefin ve başarı ölçütünün açıkça tanımlandığı bilimsel görevlerde yararlı olabilir. Ancak sistemler henüz açık uçlu bilimsel akıl yürütme için yeterince güvenilir görünmüyor. Sınırları bilindiğinde bu teknolojilerin geliştirilebileceğini düşünen Krishnan, AI’ın gelecekte anlamlı keşifleri destekleyebileceğini belirtiyor.