Bilgi damıtmanın maliyetini düşüren iki sistem değişikliği: öğretmeni bellekten çıkarmak
Multiverse Computing, büyük dil modellerini küçültmenin en pahalı adımı olan damıtma için iki değişiklik öneriyor: öğretmenin ilk K logitini bir kez önbelleğe almak ve tüm sözlük matrisini hiç oluşturmayan yeni bir KL kaybı.
Araştırma