Damıtma neden pahalı?

Bilgi damıtma, yani daha küçük bir öğrenci modeli daha büyük bir öğretmenin başarımını yakalayacak şekilde eğitmek, makine öğrenmesinde uzun süredir bilinen bir teknik. Açık kaynak büyük dil modellerinin son dalgasıyla birlikte konu yeniden ana akıma döndü. Nedeni basit: bu modelleri çalıştırmak pahalı. Kimi-K3 modeli 2,8 trilyon parametreye sahip ve yalnızca belleğe yüklenmesi için yaklaşık 3 TB VRAM istiyor.

Bu yüzden büyük modelleri küçük modellere sıkıştırıp yeteneklerini damıtmayla geri kazanmak standart uygulama haline geldi. NVIDIA'nın Nemotron 3 Puzzle 75B ve Multiverse Computing'in Hypernova 60B modelleri bu yolla üretilen yüksek kaliteli sıkıştırılmış modellerden. Ancak son kalitenin büyük bölümünü belirleyen damıtma adımı, aynı zamanda hattın en pahalı parçası.

Bellek nereye gidiyor?

Standart kurulum, Kullback-Leibler ıraksaması kaybıyla yapılan çevrim içi damıtma. Bu kurulumda öğretmen ve öğrenci aynı anda bellekte tutuluyor. Her eğitim adımında öğretmen tam bir ileri geçiş yapıp kendi çıktı dağılımını üretiyor, öğrenci de buna benzemek üzere eğitiliyor. En anlamlı kurulum bu, çünkü öğretmenin tüm dağılımı elde bulunuyor; ama aynı zamanda bellek ve hesap açısından en ağırı. Her jeton konumu için tüm sözlük boyunda iki tensör tutuluyor ve öğretmen, davranışı eğitim boyunca hiç değişmediği halde her adımda yeniden hesaplanıyor.

Yazarların verdiği örnek ölçeği somutlaştırıyor: gpt-oss-120b modelinin sözlüğü 201.088 jetondan oluşuyor. 32 bin dizi uzunluğu ve 4 yığın boyutunda öğretmen olasılık tensörünün boyutu 4 × 201.088 × 32.768 oluyor. Bu tek tensör bfloat16 biçiminde yaklaşık 50 GB VRAM demek. Üzerine gradyanlar, etkinleştirmeler, model ağırlıkları ve iyileştirici durumları eklenince tek bir eğitim adımı bile yüzlerce GPU ve dikkatli tensör paralelliği gerektiriyor.

Önerilen iki değişiklik

Multiverse Computing'in 10 Ağustos 2026'da tanıttığı çalışma soruna iki sistem düzeyi müdahaleyle yaklaşıyor:

  • Çevrim dışı ilk K logit önbelleği: Öğretmenin çıktısındaki en yüksek K logit bir kez hesaplanıp saklanıyor. Öğretmenin davranışı eğitim boyunca değişmediği için bu kayıt yeniden kullanılabiliyor ve öğretmenin öğrenciyle birlikte bellekte durmasına gerek kalmıyor.
  • Kaynaşık parçalı KL kaybı: Sözlük boyu çarpı dizi uzunluğu büyüklüğündeki matrisi hiçbir zaman tümüyle oluşturmayan, belleğe duyarlı yeni bir KL ıraksaması kaybı. Yazarlara göre bu, PyTorch ya da NVIDIA Megatron-Bridge gibi kütüphanelerdeki varsayılan uygulamaların çok altında bir VRAM kullanımı sağlıyor.

Neden önemli?

İki değişikliğin birlikte vaat ettiği sonuç, eğitim maliyetini uzun bağlam onarımının tek bir GPU üzerinde yapılabileceği düzeye indirmek. Bu, sıkıştırılmış modellerin uzun bağlamdaki yetenek kaybını geri kazanma adımının yüzlerce GPU'luk bir küme gerektirmemesi anlamına geliyor.

Buradaki asıl kazanç yalnızca ucuzluk değil, deney yapma serbestisi. Damıtma adımı tek bir kümede saatler süren ve pahalıya patlayan bir iş olduğunda, farklı öğretmen-öğrenci eşleşmelerini ya da farklı veri karışımlarını denemek pratikte mümkün olmuyor. Maliyet yeterince düştüğünde geniş ölçekli deneme pratik hale geliyor. Bu iddiaların bağımsız tekrarlarla doğrulanması gerekiyor; ancak açık kaynak model sıkıştırmayı büyük laboratuvarların dışına taşıyacak yönde bir çalışma olduğu açık.