Yapay zeka sohbet botlarına kısa yanıtlar vermeleri istendiğinde, gerçek dışı bilgiler üretme eğilimleri artıyor. Paris merkezli yapay zeka test şirketi Giskard tarafından yapılan yeni bir araştırma, bu durumun model doğruluğunu önemli halde etkileyebileceğini ortaya koydu. Giskard’ın yayımladığı blog yazısına nazaran, bilhassa meçhul yahut tartışmalı mevzulara dair sorulara verilen kısa cevaplar, yapay zeka modellerinin daha fazla “halüsinasyon” — yani gerçek dışı, uydurma bilgi — üretmesine neden oluyor. Şirketin araştırmacıları “Verilerimiz, sistem talimatlarında yapılan kolay değişikliklerin bir modelin halüsinasyon görme eğilimini kıymetli ölçüde etkilediğini gösteriyor” dedi.
Halüsinasyonlar, yapay zekada çözülmesi sıkıntı bir sıkıntıdır. En yetenekli modeller bile bazen olasılıksal tabiatlarının bir özelliği olarak bir şeyler uydururlar. Dahası, OpenAI’ın o3’ü üzere yeni akıl yürütme modelleri evvelki modellere nazaran daha fazla halüsinasyon görüyor ve bu da çıktılarına güvenmeyi zorlaştırıyor.
Kısa karşılık istemeyin
Araştırmada, kullanıcıların yapay zekalara verdiği “kısa karşılık ver” üzere sistem komutlarının, modellerin doğruluk oranını düşürdüğü vurgulandı. OpenAI’ın GPT-4o modeli (ChatGPT’nin varsayılan modeli), Mistral Large ve Anthropic’in Claude 3.7 Sonnet üzere üst seviye modellerin bile kısa karşılık talimatları karşısında yanlışlı bilgi üretme mümkünlüğü yükseliyor. Giskard, bu durumu modellerin yanlışları fark etmek ve düzeltmek için kâfi alan bulamamasına bağlıyor. Bilhassa yanılgılı yahut aldatıcı sorulara sağlam itirazlar getirmek, ayrıntılı açıklamalar gerektiriyor. Fakat model kısa yanıt vermeye zorlandığında, bu açıklamalar yerini sessiz onaylara bırakabiliyor. Araştırmacılar, “Kısa tutmaya zorlandıklarında, modeller daima olarak doğruluk yerine kısalığı seçiyor” diye yazıyor.
Giskard’ın çalışması, yapay zekaların yalnızca kısa yanıtlar karşısında değil, kullanıcıların kendinden emin halde sunduğu argümanlara karşı da daha az itiraz ettiğini gösteriyor. Ayrıyeten kullanıcıların en çok beğendiği modellerin, her vakit en yanlışsız karşılıkları veren modeller olmadığına dikkat çekiliyor.