Çin merkezli Kimi asistanının arkasındaki ekip Moonshot AI, çok kipli dil modellerinin görsel algısını yalıtarak ölçen PerceptionBench adlı bir kıyaslama testi yayımladı. Testin iddiası şu: modellerin "akıl yürütme hatası" diye kaydedilen başarısızlıklarının önemli bir bölümü aslında çok daha erken, görüntüyü okuma aşamasında oluyor.

Görmeyi düşünmeden ayırmak

Alışılmış testler algı, bilgi ve akıl yürütmeyi tek bir görevin içinde topluyor. PerceptionBench bunu ayırıyor: görmeyi on atomik alt beceriye bölüyor ve her soru yalnızca görüntüye bakarak yanıtlanabiliyor. Akıl yürütmeye de dış bilgiye de gerek yok.

On beceri alanı şöyle sıralanıyor:

  • Görsel ilişki, sayma, nitelikler
  • Derinlik ve üç boyut, konumlandırma, karşılaştırma
  • İnce ayrımlı tanıma, bağlam bütünleme
  • Optik karakter tanıma (OCR) ve halüsinasyon

Kategoriler baştan tanımlanmadı. Yazarlar önce mevcut testlerde modellerin yaptığı gerçek hataları topladı, her hatayı başarısız olan ilk adıma kadar geriye izledi ve sınıflandırmayı bu izlerden kurdu. Bu tercihin gerekçesi de ölçüme dayanıyor: incelenen 42 açık kaynak kıyaslamanın hata profilleri birbiriyle çok az örtüşüyor, yani her biri görsel zayıflığın farklı bir dilimini yakalıyor. Tek bir test ya da küçük bir test grubu görsel algının bütününü kapsamaya yetmiyor.

Sorular basit görünüyor

Moonshot AI, doğrulanmış 17 binden fazla soruluk iç havuzundan 3.000 görevi yayımlıyor. Bunların yüzde 60'ı modellerin izi sürülmüş hatalarından türetildi, yüzde 40'ı ise değiştirilmiş görüntülerle yeniden kuruldu.

Görevler yüzeyde önemsiz duruyor: bir saat kadranında sembolün nerede durduğunu bulmak, kırmızı kutunun içindeki çiçekleri saymak ya da iki kalemlikten hangisinin gri-pembe karışımı, hangisinin çizgi film desenli düz pembe olduğuna karar vermek.

Hiçbir model 60'ı geçemedi

Test edilen 16 öncü model arasında en yüksek genel doğruluk yüzde 59,7 ile GPT-5.6 Sol'a ait. Kimi K3 yüzde 58,5, Claude Fable 5 yüzde 57,2, Gemini 3.1 Pro yüzde 56,2 ve GPT-5.5 yüzde 55,8 ile takip ediyor. Açık kaynak tarafında fark açılıyor: Qwen3.5-397B-A17B yüzde 47,5, GLM-4.6V ise yüzde 32,5'te kalıyor.

Yazarlara göre asıl anlamlı olan genel sıralama değil, kategori bazındaki dağılım — toplamda neredeyse aynı puanı alan modeller alt becerilerde belirgin biçimde ayrışıyor.

Neden önemli

Bulgu, daha önceki çalışmaların işaret ettiği bir sonucu doğruluyor: en iyi modeller bile temel görsel görevlerde takılıyor. Bunun pratik karşılığı, bir modelin verdiği yanlış cevabı "daha iyi akıl yürütme" ile düzeltmeye çalışmanın çoğu zaman yanlış yere bakmak olması. Sorun düşünmede değil, bakmada başlıyorsa çözüm de orada aranmalı.

Ölçmenin kendisi de bir sorun

Çalışmanın en az sonuçlar kadar dikkat çekici tarafı, mevcut ölçüm araçlarına dair söyledikleri. İncelenen 42 açık kaynak kıyaslamanın hata profilleri birbiriyle örtüşmüyorsa, bir modelin "görsel yeteneği" hakkında tek bir testten çıkarılan yargı da eksik kalıyor demektir. Bir model belirli bir testte iyi puan alıp, o testin hiç dokunmadığı bir beceri alanında çuvallayabiliyor.

Bu, yapay zeka duyurularında sıkça görülen bir kalıbı da açıklıyor: aynı model farklı listelerde farklı sıralarda çıkıyor. Sıralamalar çelişkili değil; yalnızca farklı şeyleri ölçüyorlar. PerceptionBench'in on beceri alanına bölünmüş yapısı, en azından hangi alt becerinin ölçüldüğünü açıkça söylüyor.

Testin sınırları da belli. Yayımlanan 3.000 görev, doğrulanmış 17 binlik havuzun küçük bir dilimi ve görevlerin yüzde 40'ı değiştirilmiş görüntülerle yeniden kurulmuş durumda. Yani ölçüm gerçek dünyadaki hataların tamamını değil, izi sürülebilmiş olanları temsil ediyor.