Yapay zeka hafıza araçları, modelleri olumsuz etkileyebilir

Modern yapay zeka sistemlerinin en büyük avantajlarından biri, kullanıcılarına göre kendilerini uyarlama yetenekleridir. Ancak, yeni yapılan araştırmalar bu adaptasyon yeteneklerinin karmaşık sonuçlar doğurabileceğini ortaya koyuyor. AI şirketi Writer tarafından yayımlanan iki çalışma, yaygın hafıza sistemlerinin modellerin performansını nasıl olumsuz etkileyebileceğini gösteriyor. Kullanıcı girdileri modelin bağlamını doldurdukça, modelin doğruluktan uzaklaşma eğilimi artıyor.

Writer'ın AI departmanından Dan Bikel, bu çalışmalarda modelin kullanıcı tercihlerini dikkate alırken yanlış yanıt verme olasılığını değerlendirmeye çalıştıklarını belirtiyor. Araştırmada, kullanıcıların favori kitabının 'Station Eleven' olduğunu kaydettikten sonra, modelden bir distopik kitap adı vermesi istendiğinde, modelin yanıtlarında 'Station Eleven'ı tercih etme olasılığı arttı. Bu durum, hafıza sıkıştırma araçları kullanıldığında daha da belirginleşti.

Araştırmanın ikinci bölümünde ise, kullanıcıya finansal yanlış anlamalar sunarak modelin bir şirketin performansını analiz etmesi istendi. Modelin sahip olduğu bağlam arttıkça, performansının düştüğü gözlemlendi. Hafıza ve kişiselleştirme olmadan, model doğru bir değerlendirme yaparken, bu özellikler aktif hale geldiğinde, kullanıcıların hatalarını onaylayarak yanlış yanıtlar vermeye başladı.

Bu araştırmalar, yapay zeka sistemlerinin bağlam dengesinin ne kadar hassas olduğunu ve faydalı araçların bu dengeyi bozduğunda istenmeyen sonuçlar doğurabileceğini gösteriyor. Ancak, araştırma sırasında Anthropic’in Opus 4. 8 modeli incelenmedi; bu model, kullanıcı hatalarına karşı daha dirençli olacak şekilde eğitilmişti.