Transformer sonrasına oynayan Pathway 500 milyon dolar değerlemeye ulaştı

Yapay zeka araştırma şirketi Pathway, 500 milyon dolar değerleme üzerinden toplam 30 milyon dolarlık tohum turunu tamamladı. Şirket, kendi adlandırmasıyla Transformer sonrası olan BDH mimarisine dayanan modeller geliştiriyor.

Transformer neden aşılmak isteniyor

Bugünkü büyük dil modellerinin neredeyse tamamı Transformer mimarisi üzerine kurulu. Mimarinin gücü, metindeki her parçanın diğer her parçayla ilişkisini aynı anda değerlendirebilmesinden geliyor.

Bu güç aynı zamanda sınırı. İlişki sayısı, metin uzunluğunun karesiyle büyüyor. Metin iki katına çıktığında hesap dört katına çıkıyor. Uzun bağlamın neden pahalı olduğu, neden bir noktadan sonra kalitenin düştüğü buradan geliyor.

Alternatif mimari arayışlarının ortak hedefi bu: aynı yeteneği, uzunlukla karesel değil doğrusal büyüyen bir maliyetle elde etmek.

Değerlemedeki asıl bilgi

Tohum aşamasındaki bir şirketin 500 milyon dolar değerleme alması sıra dışı. Bu ölçekteki bir rakam genelde ürünü ve geliri olan şirketler için konuşuluyor.

Burada fiyatlanan şey gelir değil, bir ihtimal. Yatırımcının yaptığı bahis şu: mevcut mimari bir tavana yaklaşıyorsa, o tavanı aşan mimariye sahip olmak çok büyük bir kazanç sağlar. Bahsin karşılığı düşük ihtimalli ama çok yüksek getirili.

Neden bu yol zor

Yeni mimari denemelerinin çoğu aynı duvara çarpıyor: laboratuvar ölçeğinde iyi çalışan bir yapı, büyütüldüğünde beklendiği gibi davranmıyor.

Transformer'ın kazanmasının bir nedeni de teorik üstünlüğü değildi. Mimari, paralel hesaplamaya çok uygun olduğu için mevcut donanım üzerinde verimli çalıştı. Bu, on yıllık bir birikimi de beraberinde getirdi: kütüphaneler, eğitim yöntemleri, optimizasyon teknikleri, hepsi Transformer'a göre şekillendi.

Yeni bir mimarinin yarışabilmesi için sadece daha iyi olması yetmiyor; bu birikimin yokluğunu telafi edecek kadar iyi olması gerekiyor.

İddia henüz doğrulanmış değil

Elimizde şirketin kendi tanımından fazlası yok. BDH adlandırması ve Transformer sonrası nitelemesi Pathway'e ait; bağımsız bir değerlendirme yayımlanmış değil.

Bu tür iddiaları değerlendirmenin bilinen bir yöntemi var:

• Mimari bir makaleyle tarif edilmiş mi, yoksa sadece anlatılıyor mu?
• Aynı boyuttaki bir Transformer ile aynı veri üzerinde karşılaştırılmış mı?
• Sonuçlar üçüncü taraflarca tekrarlanabilmiş mi?

Üçü de sağlanana kadar iddia, bir tez olarak kalıyor.

Mimari iddialarına nasıl bakmalı

Sektörde son yıllarda Transformer'a alternatif olduğunu söyleyen birçok yapı duyuruldu. Bunların bir kısmı gerçekten farklı bir hesaplama biçimi öneriyor, bir kısmı ise mevcut mimarinin üzerine eklenen iyileştirmeleri yeni bir isimle sunuyor.

Aradaki farkı anlamanın en pratik yolu, iddianın hangi ölçekte gösterildiğine bakmak. Küçük modellerde birçok yapı Transformer'a yakın sonuç veriyor; ayrışma büyük ölçekte ortaya çıkıyor. Bir mimarinin milyarlarca parametreye çıkarıldığında da avantajını koruduğu gösterilmedikçe, sonuç erken sayılıyor.

Çeşitliliğin değeri

Bütün bunlara rağmen bu tür çalışmaların desteklenmesi sektör için sağlıklı. Yapay zeka araştırması tek bir mimari etrafında olağanüstü yoğunlaştı ve bu yoğunlaşma bir risk taşıyor: alternatif yollar denenmediği için, daha iyi bir yol varsa da bulunamıyor.

Transformer'ın kendisi de bir zamanlar egemen olan tekrarlayan ağların yerini aldı ve o dönemde de yerleşik yaklaşımın dışında çalışan araştırmacılar vardı. Bugünkü yerleşik yaklaşımın dışında çalışanlara ayrılan sermaye, o ihtimalin açık kalmasını sağlıyor.