Yapay zeka maliyetleri kurumlarda bir bütçe satırı olmaktan çıkıp operasyonel bir soruna dönüşüyor. 404 Media'nın haziranda yayımladığı ve sızdırılmış toplantı kayıtlarına dayanan haberde, Accenture'ın kendi içindeki tartışma bu değişimi çıplak biçimde gösteriyor.

Beklenmedik tüketici

Şirketin ajan yapay zeka stratejisinden sorumlu Justice Kwak, iç verilerin şaşırtıcı bir şey söylediğini aktarıyor:

"En azından bazı iç verilerimizde gördüğümüz kadarıyla, jeton tüketimini sürükleyen aslında mühendislerimiz değil. Büyük ölçüde mühendis olmayanların yaptığı bazı davranışlar."

Bu, maliyet planlamasının çoğu varsayımını tersine çeviriyor. Kurumlar yapay zeka bütçesini yazılım ekiplerinin kullanımına göre hesaplıyor; oysa faturayı büyüten, aracı günlük işinde kullanan ve teknik maliyet sezgisi olmayan geniş kitle.

PDF meselesi

Konuşmanın devamı sorunun somut kaynağını ortaya koyuyor. Accenture'ın müşteri grubu lideri Stuart Henderson araya girip şaka yollu, Kwak'ın bir PDF'i önce görüntülere sonra markdown dosyalarına çevirmemiş olmasını umduğunu söylüyor:

"Bunun en büyük jeton yiyicilerden biri olduğunu öğreniyorum. PDF'leri markdown'a çevirmek — doğru mu?"

Kwak, şirketin kendi verisinin tam olarak bunu gösterdiğini doğruluyor.

Neden bu kadar pahalı

Sebep teknik ve sıkıcı. PDF, metin taşımak için değil sayfa görünümünü sabitlemek için tasarlanmış bir biçim. İçindeki metin çoğu zaman konumlandırılmış parçalar hâlinde duruyor; okuma sırası, sütun düzeni ve tablo yapısı dosyada açıkça yazmıyor.

Bu yüzden bir PDF'i güvenilir biçimde metne çevirmenin en pratik yolu, sayfayı görüntüye çevirip modele baktırmak oluyor. Ve görüntü, dil modelleri için metinden kat kat pahalı: bir sayfalık düz metin birkaç yüz jeton tutarken, aynı sayfanın görüntüsü binlerce jetona mal olabiliyor.

Yüz sayfalık bir rapor, bu yolla işlendiğinde tek başına ciddi bir maliyet kalemi hâline geliyor — ve bunu yapan kişi genellikle bir düğmeye bastığını sanıyor.

Çıkarılacak ders

Buradaki asıl bulgu, maliyetin model fiyatından değil kurum içindeki belge biçimlerinden ve iş alışkanlıklarından geliyor olması. Model fiyatları düşerken kurumsal faturaların artması bu çelişkiyle açıklanıyor: birim maliyet ucuzluyor, ama tüketilen birim sayısı çok daha hızlı artıyor.

Pratik sonuç da aynı yerden çıkıyor. Yapay zeka harcamasını kısmanın en etkili yolu daha ucuz bir model seçmek değil; belgeleri kaynağında metin olarak tutmak, dönüşüm sonuçlarını önbelleğe almak ve aynı dosyanın her sorguda yeniden işlenmesini engellemek.

Bir başka deyişle: sorun yapay zekada değil, ona ne verdiğimizde.

Kurumlar ne yapıyor

Haberin başlığındaki "jeton kıyameti" ifadesi abartılı durabilir ama karşılık geldiği davranış gerçek: şirketler yapay zeka harcamalarını ilk kez ciddi biçimde denetim altına almaya çalışıyor. Bunun ilk adımı genellikle görünürlük — kimin ne kadar harcadığını gösteren bir pano kurmak.

Accenture örneğinin gösterdiği gibi, bu panolar çoğu zaman beklenmedik bir tablo çıkarıyor. Harcamanın büyük kısmı öngörülen yerden değil, kimsenin bakmadığı sıradan işlerden geliyor: rapor özetleme, sözleşme okuma, sunum hazırlama.

İkinci adım kısıtlama oluyor: kullanıcı başına bütçe, belge boyutu sınırı, pahalı işlemler için onay. Bunlar maliyeti düşürüyor ama aracın çekiciliğini de azaltıyor — kurumlar burada, verimlilik vaadiyle maliyet kontrolü arasında bir denge aramak zorunda kalıyor.

Maliyeti düşüren dört adım

  • Belgeleri kaynağında metin olarak tutmak; PDF'e ancak paylaşım aşamasında geçmek.
  • Dönüşüm sonuçlarını önbelleğe almak — aynı dosya her sorguda yeniden işlenmesin.
  • Görüntüye çevirmeyi son çare saymak; metin katmanı varsa doğrudan onu kullanmak.
  • Harcamayı kullanıcı bazında görünür kılmak; kimin ne tükettiği bilinmeden kısıtlama isabetsiz oluyor.