Bağlam penceresi ve KV cache
Uzun bağlamın gerçek maliyeti neden hesap değil BELLEK? Ve 1 milyon tokenlik pencereler nasıl mümkün oluyor?
2 adım
115 XP
Ücretsiz hesap gerekiyor
Derse başla →
Kaynaklar
- Pope, R. ve ark. 2023 · Efficiently Scaling Transformer Inference · MLSys 2023
- Ainslie, J. ve ark. 2023 · GQA: Training Generalized Multi-Query Transformer Models · EMNLP 2023
- Kwon, W. ve ark. 2023 · Efficient Memory Management for LLM Serving with PagedAttention (vLLM) · SOSP 2023
- Dao, T. ve ark. 2022 · FlashAttention: Fast and Memory-Efficient Exact Attention · NeurIPS 2022
ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu ·
Bütün dersler