Transformer artık darboğaz: dikkat mekanizmasını değiştirmeye çalışan girişimler
Transformer mimarisinin gücü olan dikkat mekanizması, uzun bağlam ve ajan iş yüklerinde maliyeti patlatıyor. Üç girişim mimariyi seyrek dikkat, yuvarlanan özet ve sıvı sinir ağlarıyla değiştirmeyi deniyor.
Araştırma