Veri verimliliği açığı: çocuklar dili modellerden neden bu kadar az örnekle öğreniyor

İnsanlar en az yüz bin yıldır birbiriyle konuşuyor. Bunca zaman boyunca dünyada bir insan dilini kusursuz akıcılıkla öğrenebilen tek bir şey vardı: bir insan çocuğu. Artık iki tane var.

ChatGPT'nin çıkışından bu yana geçen kısa sürede çoğumuz telefonumuzla doğal biçimde konuşabilmeyi olağan sayar hâle geldik. Ama hesaplama perdesinin arkasına bakıldığında bir pürüz görünüyor: bir bilgisayara insan dilini öğretmek hâlâ insanlık dışı miktarda veri gerektiriyor. Bir dil modeli, bir insanın ana dilini öğrenirken karşılaşacağı kelimelerin yüz binlerce katını rahatlıkla işleyebiliyor — ve çocukların dili kavramaya başladığı ilk yaş gününe kadar duyacaklarının çok ötesinde.

Stanford'dan bilişsel bilimci Michael C. Frank durumu şöyle özetliyor: son dönemdeki ilerleme olağanüstü, "ama oturma odalarımızda bir yıl içinde gerçekleşen bu dönüm noktasını yeniden üretmek için hâlâ bir ormanı yakıp bütün insan bilgisinin toplamını kazımak zorundayız."

Çocuklarla makineler arasındaki bu esneyen boşluğun adı veri verimliliği açığı. Bilişsel bilimciler için baş döndürücü bir soru, model mimarları için bir meydan okuma: en gelişmiş dil makinelerinden bile daha iyi bir işi çocuklar nasıl başarıyor?

Uçurumun ölçeği

Son on yılda dil modelleri çoğunlukla büyüyerek iyileşti. Meta'nın açık ağırlıklı modeli Llama 3.1, ön eğitimde 15 trilyon jeton işledi. Georgetown'dan bilişsel bilimci ve dilbilimci Ethan Gotlieb Wilcox'a göre sınırdaki modeller bunun on katı veriyle ön eğitimden geçiyor olabilir. Ama internet sonsuz değil; kolay erişilebilir verinin kuyusu 2030'lar gibi erken bir tarihte kuruyabilir.

Çocuklar daha azıyla daha çoğunun öğrenilebileceğini gösteriyor. Dil açısından zengin bir evde büyüyen ergenlik öncesi bir çocuk yaklaşık 100 milyon kelime duymuş oluyor. Okuryazarlık eklendiğinde bu sayı yirmi yaşına kadar belki 300 milyona çıkıyor.

Wilcox farkı bir benzetmeyle anlatıyor: "Claude, koca bir şehrin bir kuşak boyunca deneyimleyeceği miktarda dil görmüş durumda." Modern bir dil modelini eğitmek için kullanılan bütün kelimeler kâğıda basılsa, oluşan yığın Uluslararası Uzay İstasyonu'nu geçerdi. Çocuğun 100 milyon kelimesi ise yalnızca yirmi metre yükselirdi. Üstelik çok daha azıyla da idare edilebiliyor.

Karşılaştırma tablosu şöyle:

• Yeni yürüyen çocuk — yaklaşık 10 milyon kelime duyduktan sonra dilbilgisine uygun cümleler kurmaya başlıyor.
• Ergenlik öncesi çocuk — yaklaşık 100 milyon kelime.
• Yirmi yaşında bir okur — belki 300 milyon kelime.
• Llama 3.1 — ön eğitimde 15 trilyon jeton.

Küçük çocuklar genellikle 10 milyon kelime civarında bir maruziyetten sonra dilbilgisi açısından doğru cümleler kurmaya başlıyor. Frank'in ifadesiyle: "Tamamen mucizevi. GPT-2'yi 30 milyon kelimeyle eğitirseniz bir saçmalık üreticisi elde edersiniz; bir çocuk elde etmezsiniz."

Eski tartışma: doğuştan mı, deneyimle mi

Bebeklerin bunu nasıl başardığı hâlâ bir muamma. İnsan dilinin sözdizimi, sonlu bir sözcük dağarcığıyla neredeyse sonsuz fikri ifade etmeyi sağlayan özyinelemeli yapılar içeriyor. Bebekler bu dipsiz okyanusun yalnızca sığlıklarında oynuyor; yine de bir damladan derinliği çıkarıyorlar.

1950'lerde MIT'li dilbilimci Noam Chomsky bir çözüm önerdi: bebekler dilbilgisi bilgisiyle donanmış hâlde doğuyor. Karşısında, dilin bir köpeğin ödül karşılığında oturmayı öğrenmesi gibi koşullanmayla edinildiğini savunan psikolog B. F. Skinner vardı.

Chomsky'nin karşı argümanı "uyaran yoksunluğu" idi: dil, özellikle de sözdizimi, çocukların ona maruz kalışı tamamen deneyimden öğrenemeyecekleri kadar karmaşık ve yetersizdi. California Üniversitesi Irvine'den dilbilimci Richard Futrell'in özetiyle, "imza argümanı esasen dilin salt istatistik temelinde öğrenilemeyeceğiydi."

Bu görüş üretici dilbilgisi adıyla ABD dilbiliminde onlarca yıl egemen oldu. Yapay zeka araştırmacıları kurallara dayalı bir çerçeve benimsedi: dili kuralları açıkça kodlayarak öğretmeye çalıştılar — daldırma değil, dilbilgisi dersi. Sembolik yapay zeka denen bu yaklaşım insan dilini ölçekte işleyebilen modeller üretmekte başarısız oldu.

Modellerin çürüttüğü varsayım

2018 ve 2019'da, dönüştürücü mimarisi üzerine kurulan BERT ve GPT-2 modelleri, devasa bir veri bolluğundan öğrenmenin dil için işe yarayabileceğini gösterdi. Dil modelleri beyin değil; insan korteksine işlenmiş biyolojik tuhaflıklardan yoksun, saf örüntü öğrenen makineler. Yani bir üretici dilbilimcinin yirmi yıl önce "dili öğrenemez" diyeceği tam olarak o şey.

California Üniversitesi Berkeley'den gelişim psikoloğu Alison Gopnik bunu açıkça teslim ediyor: "Yapay zeka konusunda ne kadar şüpheci olursanız olun, herkesi gerçekten etkileyen şey şu: bu şeyler sözdizimini öğreniyor. Bunun doğru çıkacağını düşünmemiştim."

BabyLM: çocuk ölçeğinde model eğitmek

Peki küçük bir dil örneğinden — diyelim ki çocuk boyutunda bir örnekten — öğrenmek mümkün mü?

Dilbilimci ve veri bilimci Alex Warstadt bu soruyu bir yarışmaya dönüştürdü. Warstadt, araştırmacı Leshem Choshen ve birkaç kişiyle birlikte BabyLM'i kurdu: modelleri küçük veri kümeleriyle eğitmeye çağıran yıllık bir yarışma.

Ana yarışma, araştırmacılardan modelleri "gelişimsel olarak makul" bir derlemle eğitmelerini istiyor: yalnızca 100 milyon kelime. Yeni yürüyen çocuk kategorisinde 10 milyon. Derlem hikâye kitaplarından, diyaloglardan, film altyazılarından, Wikipedia'dan ve çocuklara yönelik gerçek konuşma dökümlerinden oluşuyor.

Modeller, psikodilbilimcilerin insanlarda kullandığı dilbilgisi ölçütleriyle değerlendiriliyor. Bir sınama türü, denekleri — insan ya da makine — cümlelerle karşılaştırıp dilbilgisine aykırı özellikler karşısında şaşkınlık belirtisi arıyor. Örneğin "Dolabın anahtarları masada" ile "Dolabın anahtarları masadalar" arasındaki fark. İnsanda bu şaşkınlık göz hareketleriyle ölçülebiliyor; modellerde ise "şaşırma" adı verilen, modelin bir cümleyi ne kadar olası bulduğunu değerlendiren bir ölçü kullanılıyor.

Beklenmedik bulgu: müfredat işe yaramadı

Yarışma bazı varsayımları şimdiden sarstı. Bunlardan biri müfredat öğrenmesiydi: basit eğitim verisiyle başlayıp giderek karmaşıklaşan girdilere ilerlemek — bebek konuşmasıyla başlayıp zamanla incelmek gibi. İlk turda açık ara en popüler yaklaşım buydu. Ve beklendiği kadar iyi çalışmadı.

Boston Üniversitesi'nden bilgisayar bilimci Aaron Mueller açıklıyor: "Cazibesine karşı koymak zor. İnsanların öğrendiğine inandığımız yollarla gerçekten örtüşüyor gibi görünüyor. Ama anlaşılan bu dönüştürücülerin etkili öğrenmek için verilerinin bu şekilde sıralanmasına ihtiyacı yok."

Belki biraz ironik biçimde, en iyi BabyLM modelleri bebeklerden hiç esinlenmiyor. 2024 şampiyonu GPT-BERT, kısmen modern dil modelleri gibi dizideki bir sonraki jetonu tahmin etmek, kısmen de boşluk doldurmak üzere eğitilmiş bir dönüştürücü. Yaklaşık 100 milyon kelimeyle ön eğitimden geçirildiğinde, BabyLM ölçütlerinden birinde kendisinden binlerce kat fazla veriyle eğitilmiş Llama 2 70B'nin başarımını geçebildi.

Yine de BabyLM modelleri dil modelleriyle aynı düzeyde değil. Çoğu metin üretemiyor bile.

Eksik olan ne: beden, duyular, merak

Çocuklar deneyimi yalnızca yazılı metinden alan bedensiz bilgisayar programları değil. Dünyayı duyularıyla — özellikle görme ve işitmeyle — alıyorlar. Bu yüzden bazı araştırmacılar açığı kapatmak için makinelerin çocukların gözlerinden ve kulaklarından öğrenmesi gerektiğini düşünüyor.

Frank ve meslektaşları, bebeklerin dünyayı nasıl deneyimlediğini görmek için kafa kameraları kullandı: "Çocukların deneyimi düşündüğümüzden radikal biçimde farklı. Çok daha odaklı: kısa kolları var, yani nesneler tam önlerinde. Ve bir diz ormanında yaşıyorlar."

SAYCam adlı proje üç bebeğin yaşamından haftada iki saat kaydetti. Princeton'dan Brenden Lake, bu görüntünün 61 saatiyle eğitilen bir modelin nesneleri tanıyıp kelimelerle ilişkilendirmeyi öğrendiğini gösterdi — kuramların gerekli gördüğü yerleşik önyargılar olmadan. Ama ekliyor: "Eğitim bittiğinde elimize iki yaşında bir çocuk geçmiyor."

Çocuk veriyi seçiyor, model almıyor

Gopnik'e göre eksik bileşen başka bir yerde: "Çocuklar etkin biçimde keşfediyor, yani kendi verilerini kendileri seçiyorlar. Sürekli deney yapıyorlar."

Gopnik'in grubunun araştırması, çocuk oyunu gibi görünen şeyin aslında neden-sonuç öğrenmenin etkili bir yolu olduğunu gösteriyor. Çocuklar, dünya üzerinde öngörülebilir bir etki yaratma kabiliyetlerini en üst düzeye çıkaran deneyimleri arıyor.

Harvard'dan gelişimsel bilişsel bilimci Elizabeth Bonawitz bir başka farkı ekliyor: modellerin aksine çocuklar neyi bilmediklerinin farkında ve bu boşlukları doldurma dürtüsüne sahip. Çocukların toplumsal yaşamı da öğrenmelerine yardım ediyor. Bonawitz'in araştırması, bir yetişkinin kendilerine bir şey öğretmeye çalıştığını bildiklerinde çocukların bilgiyi farklı yorumladığını gösteriyor: "Çocuklar yalnızca kendilerine anlatılan kanıt üzerine akıl yürütmüyor. Öğretmen üzerine, öğretmenin bilgisi üzerine ve öğretmenin bu bilgiyi neden verdiği üzerine de akıl yürütüyorlar."

Bu, modellerin öğrenme biçiminden çok farklı: modeller pasif ve yalıtılmış hâlde öğreniyor. Geçen yılki BabyLM, başka modellerle etkileşerek öğrenen modellere de açıldı. Ancak toplumsal modeller standart olanlardan daha iyi sonuç vermedi.

Neden önemli

Açığı kapatmanın üç ayrı getirisi var.

Azınlık dilleri. GPT-BERT mimarlarından, Oslo Üniversitesi'nden makine öğrenmesi araştırmacısı David Samuel'in kişisel bir gerekçesi var: Çek ve Norveç dillerinde İngilizceye kıyasla çok daha az eğitim verisi bulunuyor. Sami gibi azınlık dillerinde erişilebilir jeton sayısı on milyonlarla sınırlı — yani bir çocuğun maruziyeti ölçeğinde. Samuel'in sorusu şu: "Küçük diller için, İngilizce olanlar kadar yetenekli dil modellerini nasıl geliştirebiliriz?"

Bu soru Türkçe için de doğrudan geçerli. Türkçe azınlık dili değil, ama internetteki Türkçe metin hacmi İngilizcenin yanında küçük kalıyor. Veri verimliliği açığının kapanması, Türkçede yetkin modellerin İngilizce ölçeğinde veri olmadan da eğitilebilmesi anlamına gelir.

Demokratikleşme. Warstadt açığı kapatmayı, üniversitelerin ve ölçeklendirme kaynağı olmayanların iyi modeller eğitip yapay zeka araştırmasında ilgili kalabilmesi için istiyor.

Kendimizi anlamak. Belki de en çekici sebep bu. Bonawitz başlangıçta dil modellerinin biliş hakkında bir şey söyleyebileceğine şüpheyle bakıyordu — beyinler bedenlenmiş, nöronlar canlı hücreler, beyin öğrendikçe değişiyor. Yine de: "İnançlarımı bir tür gözden geçiriyorum," diyor.

Araştırmacılar modelleri bir tür dilbilimsel laboratuvar faresi olarak kullanmaya başladı. Dil öğrenimine dair hipotezleri modellere gömüp — farklı iki dillilik derecelerini benzeterek ya da modeli belirli dilbilgisi biçimlerinden yoksun bırakarak — bunları gerçek çocuklarla imkânsız olacak biçimde sınayabiliyorlar.

Warstadt'ın deyişiyle: "Yüz bin yıldır insanlar evrende dil kullanan tek varlıktı. Şimdi başka bir dilsel varlık daha var. Sonunda bir modelimiz oldu; dil modeli anlamında değil, model organizma anlamında."

Şu an nerede duruyoruz

Sınırdaki laboratuvarlar çocuklardan numara ödünç almak için yarışmıyor. Gopnik, gelişim psikolojisinden ders alacak olanın bir sonraki yapay zeka kuşağı — dönüştürücünün yerini alacak şey — olacağını düşünüyor. Bu arada ilgi başka bir yönden büyüyor: Mart 2026'da başlatılan NanoGPT Slowrun ölçütü, BabyLM'e benzer hedefler taşıyor ama insan dili öğrenimi motivasyonunu bırakıp doğrudan veri verimliliğine odaklanıyor.

Yani açık kapanmadı, sebebi de bilinmiyor. Ama artık ölçülüyor — ve ölçülen bir şey, er ya da geç üzerinde çalışılan bir şeye dönüşüyor.