Cactus Compute, araç çağırma, cihaz kullanımı ve yapılandırılmış çıkarım için tasarlanmış 45 milyon parametreli açık model Needle 2'yi yayımladı. Modelin dikkat çekici yanı yetenekleri değil, boyutu.

Rakamlar

Model bütünüyle tek bir 14 megabaytlık ikili dosya olarak dağıtılıyor ve bir oturumu yaklaşık 28 megabayt bellekte çalıştırıyor. Ağırlıklar CQ2-bit biçiminde eğitilip dağıtılıyor ve model şirketin kendi C++ motorunun içine mühürlenmiş durumda — yani kurulacak bir çalışma zamanı ve çıkarım anında indirilecek bir şey yok.

Bildirilen çözümleme hızları:

  • Raspberry Pi 5'te saniyede 500 jeton
  • Meta Quest 3S ve Apple Vision Pro'da saniyede 400-1.500 jeton
  • 200 doların altındaki telefonlarda saniyede 300-700 jeton

Tasarımın dayanağı

Ekibin gerekçesi açıkça ifade edilmiş: dağınık bir cümleyi tipli bir işlev imzasına eşlemek dünya bilgisi gerektirmiyor ve ucu açık düzyazı üretmeyi de gerektirmiyor.

Bu çerçeveleme, 45 milyon parametrenin neden yettiğini ve modelin neden GPU'su ve sinir işlem birimi olmayan donanımı hedeflediğini açıklıyor. Görev dar tanımlanınca model de dar kalabiliyor.

Mimari

Needle 2, ekibin "Basit Dikkat Ağı" adını verdiği bir yapı kullanıyor. Tarif şöyle: ileri beslemeli katman yerine Hadamard MLP, korunan GQA dikkat mekanizması, karma değerli n-gram tablolarından gelen engram anahtar-değer belleği ve çok şeritli aşırı bağlantılar. Ağ 27 katmanlı ve 512 genişliğinde.

Ön eğitim, şirkete ait 115 milyar jetonluk bir derlemle yapılmış; eğitim sonrası aşamada 38 milyar jeton kullanılmış. Model jeton başına 70 MFLOP harcıyor ve 45 milyon parametrenin 35 milyonu matris çarpımında etkin.

Karşılaştırma noktaları çarpıcı: LFM2.5-230M jeton başına 460 MFLOP, FunctionGemma 270M 540 MFLOP harcıyor; Apple'ın temel modeli ise 6.000 civarında.

Nerede çalışıyor

Needle 2 önceden derlenmiş ikili dosyalar ve durağan kütüphane olarak dağıtılıyor: macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS, watchOS, tvOS ve WebAssembly.

Şirkete göre Pebble, Index 01 uygulamasında çevrimdışı sesli komutlar için Needle'ı halihazırda yerel olarak çalıştırıyor.

Motorun çalışma biçimi de sıradışı: ağırlıklar belleğe hiç açılmıyor. İki bitlik kodlar vektör kayıtlarının içinde genişletilip tam sayı nokta çarpımlarında birleştiriliyor, böylece aritmetik yolu int8 olarak kalıyor. Tek bir ikili dosya başlangıçta işlemciyi yoklayıp uygun yolu seçiyor.

Kim için anlamlı

Bu ölçekteki bir modelin hedef kitlesi bulut tabanlı yazılım şirketleri değil, kısıtlı donanımda ürün çıkaran ekipler: giyilebilir cihaz ve nesnelerin interneti girişimleri, tüketici elektroniği üreticileri, robotik ekipleri ve çevrimdışı yedeğe ihtiyaç duyan büyük cihaz üreticileri.

Uygulama alanları da buna göre şekilleniyor: ekranı olmayan cihazlarda sesle komut verme, çevrimdışı cihaz denetimi, fiş ve fatura alanlarının ayıklanması, ve yalnızca güven düşük olduğunda buluta yükselen yerel yönlendirme.

Sesin cihazdan çıkamadığı düzenlemeye tabi ortamlar da listede. Bir modelin ağa hiç bağlanmadan çalışabilmesi, orada bir performans meselesi değil uyum meselesi.