Yapay zekânın dünyayı ele geçirmeden önce bir problemi çözmesi lazım: Botlar halüsinasyon görüyor.
ChatGPT gibi yapay zekâ destekli araçlar, her türlü sorguya yetkin ve insan gibi tınlayan cevaplar üretmek suretiyle bizi büyülediler. Fakat daha da fazla insan, ödev yapmak, işyeri araştırması yapmak veya sağlık soruları sormak gibi şeylerle bu heyecan verici teknolojiye başvurdukça onun en büyük tuzaklarından biri görünür olmaya başladı: YZ modelleri sıklıkla bir şeyleri uyduruyor.
Meta YZ direktörünün bir twitte belirttiği gibi, araştırmacılar, YZ modellerinin bu tür doğru olmayan bilgileri bize fırlatması eğilimine “halüsinasyonlar” veya hatta “masallama” diyorlar. Bu arada bazı sosyal medya kullanıcıları sohbet botlarını “patolojik yalancı” olarak suçlamaya başladı bile.
Fakat tüm bu tanımlamalar, Beyaz Saray YZ Haklar Beyannamesi Taslağı’nın yardımcı yazarlarından Brown Üniversitesi hocalarından, Profesör Suresh Venkatasubramanian’a göre, bizim makinelerin eylemlerini antropomorfize etme (insan biçimci yorumlama, çev.) eğilimimizden kaynaklanıyor.
Gerçekte olan ise, Venkatasubramanian’ın dediği gibi, -ChatGPT gibi YZ araçlarının temelindeki teknolojinin oluşturduğu- büyük dil modellerinin (LLM Large-Language Models, çev.) kullanıcı sorgularına “inandırıcı ve makul cevaplar üretmek” için eğitilmiş olmaları. “Böylece, bu anlamda, inandırıcı ve makul herhangi bir cevap, doğru, olgusal veya isterse uydurulmuş olsun ya da olmasın, makul bir cevap ve onun da ürettiği bu” diyor Venkatasubramanian. “Burada hiçbir doğruluk bilgisi yok.”
YZ araştırmacısının dediğine göre, yanlış veya kötü niyet anlamı çağrıştıran halüsinasyon veya yalan söyleme iddiasından daha iyi bir analoji, bu bilgisayarların çıktısının dört yaşındaki oğlunun anlattığı hikâyelerle mukayese edilmesi. “Ve sonra ne oldu?” diye sorarsınız ve o daha da fazla hikâye üretmeye devam eder, o kadar” diyor Venkatasubramanian. “Ve böyle devam eder de eder.
”YZ sohbet botlarının arkasındaki şirketler, bu halüsinasyonların en kötüsünün gerçekleşmesini önlemek amacıyla bir takım korumalar geliştirdiler. Fakat üretici YZ’nin etrafındaki küresel hevese karşılık, bu alandaki pek çok kişi sohbet botlarının halüsinasyonlarının çözülüp çözülemeyen bir problem olup olmadığı konusunda kafalarını kaşımaya devam ediyorlar.
YZ halüsinasyonu nedir?
Washington Üniversitesi profesörlerinden ve üniversitenin Kamusal Bilgi Merkezi’nin yardımcı kurucularından Jevin West’e göre, basitçe söylemek gerekirse bir halüsinasyon, bir YZ modelinin “bir şeyleri yani gerçeklikle ilgisi olmayan bir şeyleri uydurması” anlamına geliyor.
Fakat West ekliyor: “Bunu saf bir güvenle yapıyor”. “Ve tıpkı sizin ‘ABD’nin başkenti neresidir?’ şeklinde basit bir soru sormanız gibi aynı güvenle yapıyor” bunu.
Bu da West’in söylediğine göre, kullanıcıların bir sohbet botuna cevabını zaten bilmedikleri soru sorduklarında neyin gerçek olup olmadığını ayırt etmelerinde zorlanmaları anlamına geliyor.
Bazı çok bilinen YZ halüsinasyonları çoktan manşetlere düştü. Google, ChatGPT’nin rakibi olarak oldukça yüksek beklenti gören Bard’ın demosunun lansmanını ilk defa yaptığında, YZ, James Webb Uzay Teleskobu tarafından yapılan yeni keşiflere dair bir soruya göz göre göre yanlış bir cevap verdi (O zaman, bir Google sözcüsü CNN’e olayın “katı test sürecinin önemini vurguladığını” söyledi ve şirketin “Bard’ın cevaplarının gerçek dünya enformasyonu içerisinde kalitede, güvenlikte ve gerçekçilikte yüksek bir çıtayı karşılamasına” çalıştıklarını ekledi).
Kıdemli bir New Yorklu avukat da ChatGPT’yi hukuk araştırması için kullandığı sırada sohbet botunun doğrudan uydurduğu altı “düzmece” davayı mahkemeye teslim etmesiyle zor bir durumda kaldı. Haber kaynağı CNET de YZ aracı tarafından üretilen bir makalenin, bileşik faizin ne işe yaradığına dair soruya doğru olmayan kişisel finansal bir cevap vermesiyle düzeltme yayımlamak zorunda kaldı.
Öte yandan, YZ halüsinasyonlarının önünü alma çabası, YZ araçlarının insanlara daha yaratıcı teşebbüslerde, örneğin kullanıcıların ChatGPT’nin şiir veya şarkı sözü yazma gibi isteklerinde yardım etme yetisini de sınırlıyor.
Ancak, West’in CNN’e belirttiği gibi, insanlar sağlıklarını , oy verme davranışlarını ve potansiyel olarak daha hassas meselelerini etkileyebilecek cevapları aramaya başladıklarında halüsinasyonlardan kaynaklanan riskler var.
Venkatasubramanian, “Şu an için doğrudan kendi başınıza doğrulayamadığınız gerçek veya güvenilir bilgiye ihtiyaç duyulan herhangi bir iş için bu araçlara güvenmenin problematik olduğunu” da ekledi. Yine dediğine göre, örneğin iş adaylarının niteliklerini özetleyen ve iş mülakatında bir sonraki mülakatta kiminle devam edeceğine karar veren YZ araçlarını kullanan şirketlerde olduğu gibi, bu teknoloji yayıldıkça başka potansiyel riskler barındırıyor.
Venkatasubramanian, son olarak bu araçların “en azından şu an için insanların maddi olarak etkileneceği alanlarda kullanılmaması gerektiğini” düşündüğünü söyledi.
Halüsinasyonlar önlenebilir mi?
YZ halüsinasyonlarını önlemek veya düzeltmek “aktif araştırma meselesi” diyor Venkatasubramanian. Ancak bu şu anda çok karışık bir konu.
Büyük dil modelleri devasa veri setleri üzerinde eğitiliyorlar ve bir YZ modelinin kullanıcı sorgusuna bir cevabı nasıl ürettiğine dair birden çok safha var; bu süreçlerden bazıları otomatik olurken, bazıları insan müdahalesinden etkileniyor.
“Bu modeller çok kompleks ve bu yüzden de çok girift” diyor Venkatasubramanian, fakat bu yüzden de “çok kırılganlar.” Bu da girdilerdeki en ufak değişikliklerin bile “çıktılarda oldukça dramatik farklar” yaratması anlamına geliyor.
“Bu işin doğası bu, eğer bir şey bu kadar hassas ve komplike ise, bu da getirilerinden birisi” diyor Venkatasubramanian. “Bu da işlerin nasıl olup da yanlış gittiğini tanımlamak çok zor çünkü pek çok küçük şey yanlış gidebilir.”
Washington Üniversitesi’nden West de bu duyguları yansıtarak diyor ki, “Problem bu sohbet botlarından gelen halüsinasyonları tersine mühendislik ile çözemememiz.”
“Bunun sebebi, bu şeylerin içsel karakteristiklerinin her zaman için orada bulunmaları olabilir” diyor West.
Google’ın Bard’ı ve OpenAI’ın ChatGPT’si ilk baştan beri kullanıcılara karşı şeffaf olmaya çalıştıkları için doğru olmayan cevaplar üretebiliyorlar. Ve şirketler de çözümler üzerine çalıştıklarını belirtiyorlar.
Yılın ilk günlerinde, Google CEO’su Sundar Pichai, CBS’in “60 Dakika” programında yaptığı bir röportajda “Alandaki kimsenin halüsinasyon problemini çözemediğini” ve “tüm modellerin bu sorunu olduğunu” söyledi. Pichai sorunun çözülüp çözülemeyeceği konusunda ise “Bu yoğun bir tartışma konusu, bence gelişme kaydedeceğiz” dedi.
Ve, ChatGPT’yi yapan OpenAI’nın CEO’su Sam Altman, haziranda Hindistan Delhi’de Indraprastha Enformasyon Teknolojisi Enstitüsü’nde yaptığı bir konuşmada bir ya da bir buçuk yıl içinde “halüsinasyon probleminin çok daha iyi bir noktaya geleceğine” dair teknolojik bir tahminde bulundu. “Yaratıcılık ve kusursuz doğruluk arasında bir denge var” diye ekledi Altman. “Siz herhangi bir şey talep ettiğinizde modelin öğrenmesi gerekiyor.”
Buna karşılık, Altman, ChatGPT’nin kullanılması hakkındaki takip eden soruya ise iğneleyici bir cevap veriyor: “Muhtemelen dünyadaki herkes arasında en az ChatGPT’den gelen cevaplara güveniyorum.
Yazının orijinali için bkz. https://edition.cnn.com/2023/08/29/tech/ai-chatbot-hallucinations/index.html