Ne oldu?

Büyük dil modellerinin tamamına yakınını ayakta tutan transformer mimarisi, sekiz yıldır alanın varsayılan çözümü. MIT Technology Review'ün 10 Ağustos 2026 tarihli incelemesine göre bu varsayım artık sorgulanıyor: mimarinin en güçlü yanı olan dikkat mekanizması, modellerden beklenen yeni işlerde en büyük engele dönüşmüş durumda.

Sorunun kaynağı mekanizmanın çalışma biçiminde. Dikkat, bir metindeki kelimeleri birbiriyle karşılaştırarak hangisinin hangisiyle ilgili olduğunu çıkarıyor. Bu karşılaştırma metin uzadıkça orantısız biçimde büyüyor. Modelden bir kod tabanının tamamını, bir belge arşivini ya da haftalarca süren bir ajan oturumunun çıktısını takip etmesi istendiğinde hesap yükü kontrolden çıkıyor.

Üç farklı çıkış yolu

İnceleme, sorunu birbirinden bağımsız yollardan çözmeye çalışan girişimleri derliyor:

  • Subquadratic (Miami): Dikkati tamamen değiştirmeden seyrekleştiriyor. Modeli, her metin parçası için hangi kelimelerin önemli olduğuna anlık karar veren bir mekanizmayla çalıştırdığını söylüyor. Şirket, SubQ adlı modelinin arama ve kodlama gibi işlerde ana akım modellerle yarıştığını iddia ediyor.
  • Manifest AI (San Francisco): Dikkati büsbütün başka bir şeyle değiştiriyor. "Güç saklama" adını verdiği mekanizma, bağlam penceresinin yuvarlanan bir özetini tutuyor; yeni bilgi geldikçe daha az ilgili olan bilgi düşürülüyor.
  • Liquid AI (Cambridge, Massachusetts): Transformer'ı tamamen bırakmıyor, kendi sıvı sinir ağı teknolojisiyle birleştiriyor. Ortaya çıkan modeller çok daha küçük ve az enerji harcıyor.

İddiaların dayanağı ne kadar sağlam?

Manifest AI, mevcut bir transformer modelini az miktarda yeniden eğitimle kendi mimarisine dönüştürmenin mümkün olduğunu savunuyor. Bunu göstermek için açık kaynak kodlama modeli StarCoder'ı kendi mimarisine çevirerek PowerCoder'ı yayımladı; ayrıca Alibaba'nın Qwen ailesinin bazı sürümleriyle yarıştığını söylediği Brumby adlı bir model çıkardı. Liquid AI ise otomotiv tarafında Mercedes dahil üreticiler için araç içi küçük yongalarda çalışan modeller geliştiriyor; en yeni modellerinin Raspberry Pi üzerinde çalışabildiğini belirtiyor.

Buradaki temel çekince açık: iddiaların büyük bölümü şirketlerin kendi duyurularına dayanıyor ve bağımsız kıyaslamalarla doğrulanmış değil. Subquadratic'in ana akım modellerle yarışan ilk seyrek dikkat mekanizmasını bulduğu iddiası, sektörde şüpheyle karşılanan taraflardan biri. Seyrek dikkat fikri yeni değil; onlarca varyantı yıllardır deneniyor ve hiçbiri anlamı yakalamada yoğun dikkat kadar iyi olamadı.

Neden önemli?

Bu arayışın arkasında iki somut baskı var. Birincisi maliyet: veri merkezlerinin tükettiği elektriğin 2030'a kadar iki katına çıkacağı öngörülüyor. İkincisi ise yetenek sınırı. Akıl yürütme modelleri, kendilerine bir tür karalama defterinde not tutup bu notları geri okuyarak çalışıyor; bu da takip edilmesi gereken veri miktarını daha da artırıyor. Ajanların haftalarca aynı görevde kalması ya da saatlerce süren videoların çözümlenmesi gibi hedefler, mevcut mimariyle ekonomik olarak zorlanıyor.

Kısacası sektör, model boyutunu büyütmenin ötesinde bir kaldıraç arıyor. Bu girişimlerden biri bile iddia ettiğini bağımsız kıyaslamalarda gösterebilirse, uzun bağlam gerektiren işlerin maliyet tablosu ciddi biçimde değişebilir. Gösteremezlerse, transformer bir süre daha alanın varsayılanı olarak kalmaya devam edecek.