San Francisco merkezli Vals, a16z öncülüğünde 400 milyon dolar değerleme üzerinden 40 milyon dolarlık A serisi turu kapattı. Şirket, yapay zeka modellerini gerçek dünya görevlerinde sınayan değerlendirme ve kıyaslamalar geliştiriyor. Haberde gelirinin 2025'ten bu yana sekiz katına çıktığı belirtiliyor.

Neden bir pazar oluştu

Bu tur, birkaç yıl önce anlamsız görünecek bir şeyi gösteriyor: modelleri ölçmek başlı başına bir iş kolu hâline geldi.

Sebebi, kurumların karşılaştığı somut bir sorun. Bir şirket yapay zekayı işine soktuğunda üç soruyu cevaplamak zorunda: hangi modeli kullanacağım, bu model benim işimde gerçekten çalışıyor mu, sürüm değiştiğinde bir şey bozuldu mu?

Bu soruların cevabı genel model sıralamalarında yok. Sıralamalar standart sınavlarla ölçüm yapıyor; bir sigorta şirketinin poliçe metinlerini ya da bir bankanın uyum belgelerini içermiyorlar.

\"Gerçek dünya görevleri\" ne demek

Vals'in konumlandığı yer bu ayrım. Kıyaslamayı akademik bir sınav olarak değil, meslek işi olarak kuruyor: hukuk, finans, sağlık gibi alanlarda o alanın uzmanlarının çözdüğü türden görevler.

Bu tür bir kıyaslamanın kurulması ucuz değil. Alan uzmanı gerekiyor, doğru cevapların hazırlanması gerekiyor ve kümenin gizli tutulması gerekiyor — yayımlanan bir sınav, bir sonraki modelin eğitim verisine giriyor ve ölçme değerini kaybediyor.

Bu maliyet, işin neden bir şirkete devredildiğini açıklıyor.

Sekiz kat büyüme

Gelirin bir yılda sekiz katına çıkması, talebin nereden geldiğini gösteriyor. Bir denetim aracının bu hızda büyümesi, denetlenecek şeyin hızla yayıldığı anlamına geliyor.

Bu, kurumsal yapay zekada pilot aşamasından üretime geçişin bir başka göstergesi. Kimse denemekte olduğu bir aracı ölçmek için para harcamıyor; ölçüm ihtiyacı, araç iş yapmaya başladığında doğuyor.

Bağımsızlık sorusu

Buradaki asıl mesele, değerlendirmenin kim tarafından yapıldığı. Model performansına dair bilginin büyük kısmı hâlihazırda, modeli üreten şirketin kendi yayımladığı sayılardan geliyor.

Bağımsız bir değerlendirme şirketinin bu ölçekte yatırım alması, o boşluğun ticari bir karşılığı olduğunu gösteriyor. Yine de bu bağımsızlığın kendi sınırı var: değerlendiren şirketin geliri de değerlendirdiği şirketlerin bulunduğu ekosistemden geliyor.

Sektörün sessiz katmanı

Vals'in turu, son dönemde tekrarlayan bir örüntünün parçası. Gözlemlenebilirlik, değerlendirme, yönetişim ve güvenlik — bunların hepsi model geliştirmeyen ama modelin çevresinde iş yapan şirketler.

Bu katmanın büyümesi, yapay zeka pazarının olgunlaşmasının işareti. Yeni bir teknoloji önce yeteneğiyle konuşuluyor; ardından o yeteneği güvenilir biçimde kullanmayı sağlayan araçlar bir pazar oluşturuyor. Bulut bilişimde de aynı sıra izlenmişti.

Küçük ekipler ne yapmalı

Bu ölçekte bir araç herkes için gerekli değil. Ama arkasındaki fikir öyle:

  • Kendi işinizden alınmış, cevabı bilinen bir soru kümesi hazırlamak.
  • Model ya da sürüm değiştirdiğinizde o kümeyi yeniden çalıştırmak.
  • Sonucu kaydetmek — böylece kalitenin zaman içinde nereye gittiği görünüyor.

Bunu kurmak birkaç saat sürüyor ve model seçimini tahminden ölçüme taşıyor.