Yapay zeka sektöründe kullanıcılar dağıtımlarının ne kadar pahalı olabildiğinin giderek daha çok farkına varıyor ve maliyeti kısmak için yeni bir aciliyet hissediyor. Açık kaynaklı modeller jeton başına belirgin biçimde daha ucuz; ama belirli bir iş için doğru modeli bulmak kolay değil.

Pazarlamacılara yönelik yapay zeka araçları ve ajanları sunan Writer, bu soruna karşı yeni amiral gemisi modeli Palmyra X6'yı tanıttı.

Açık modelin üzerine inşa

Palmyra X6, Z.ai'nin açık kaynaklı GLM-5.2 modeli üzerine eğitim sonrası bir varyasyon olarak kuruldu. Writer, sistemin dağıtıma hazır yetenekleri çok daha düşük bir fiyata sunduğunu söylüyor.

Şirketin tahmini, yeni model ile iskele altyapısındaki değişikliklerin birlikte müşteri maliyetlerini temel görevlerde yüzde 50'ye kadar düşüreceği yönünde. Model, standart ajan iskelesindeki kapsamlı iyileştirmelerle birlikte müşterilere sunuldu.

Asıl iddia: iskele

Duyurunun ilginç kısmı modelde değil, çevresindeki yazılımda. Writer araştırmacılarının yayımladığı bir makale, iskele verimliliğindeki küçük değişikliklerin birden çok model üzerindeki etkisini ölçmüş.

Bulgu şu: çoğu durumda iskeledeki değişiklikler, model seçiminden daha güvenilir bir maliyet düşürme yolu. Testlerde maliyetler ortalama yüzde 40 gerilemiş.

Araştırmacıların formülasyonu meselenin özünü veriyor: "İskele, verimliliği bir kurumun çalıştırdığı her modele — bugünküne de gelecektekine de — çarpan etkisi yapan tek bileşen."

Yeni yaklaşım özellikle karmaşık, çok adımlı görevlere odaklanıyor: daha hızlı ve daha az jetonla yürütülen işler.

Kurumlar neden yorgun

Şirketin CEO'su May Habib'in değerlendirmesi doğrudan: "Bence kurumlar bir sonraki kıyaslama puanının peşinden koşmaktan gerçekten bıktı. Düzleşen bir maliyet istiyorlar ve bunu kimse veremiyor gibi görünüyor."

Habib maliyet kısma çabasının büyük yapay zeka laboratuvarlarına yönelik daha geniş bir güvensizliği beslediğini de düşünüyor — çünkü o laboratuvarların jeton kullanımını artırmak için finansal bir teşviki var.

"Buradaki maliyet patlaması müşteriler için görülmemiş düzeyde, bilgi işlem yöneticilerinin laboratuvarlardan umudu kesme derecesi de öyle" diyor Habib ve ekliyor: laboratuvarlar "bir kurumun yapay zekadan nasıl fayda sağlayacağını derinlemesine anlamıyor."

Model bağımsız kalıyor

Writer müşterileri için deneyim model bağımsız olmayı sürdürüyor. Palmyra X6, şirketin diğer modellerinin yanında ya da Azure veya Amazon Bedrock üzerinden içeri aktarılan dış modellerle birlikte çalışabiliyor.

Bu tercih, iskele argümanının doğal sonucu: verimliliği modelden değil çevresindeki katmandan çıkarıyorsanız, hangi modelin çalıştığı ikincil hâle geliyor.

Neden bu tartışma şimdi çıkıyor

Yapay zeka dağıtımlarının maliyeti, ilk kurulum aşamasında görünmüyor. Fatura, sistem gerçekten kullanılmaya başladığında ve çok adımlı ajan görevleri devreye girdiğinde büyüyor: her adım yeni bir model çağrısı, her çağrı yeni jetonlar demek.

Habib'in "kıyaslama yorgunluğu" tespiti de buradan besleniyor. Bir modelin sıralamada iki puan yükselmesi, o modeli çalıştıran kurumun faturasında hiçbir şeyi değiştirmiyor. Kurumun ölçtüğü şey puan değil, aynı işi ne kadara yaptığı.

İskele argümanının test edilebilir bir yanı da var: iddia bağımsız olarak sınanabilir, çünkü aynı modeli farklı iskelelerle çalıştırıp maliyeti ölçmek mümkün.

Rakamlarla

  • Temel modeli: Z.ai'nin açık kaynaklı GLM-5.2'si, üzerine eğitim sonrası çalışma
  • Vaat edilen tasarruf: temel görevlerde yüzde 50'ye kadar
  • Araştırmanın bulgusu: yalnızca iskele iyileştirmesiyle ortalama yüzde 40
  • Erişim: Writer istemcilerine açık; Azure ve Amazon Bedrock üzerinden dış modellerle birlikte çalışabiliyor