Maliyet ve gecikme
Token başına birkaç sent. Ölçekte aylık binlerce dolar. Ve maliyeti düşürmenin doğru sırası var.
1 adım
60 XP
Ücretsiz hesap gerekiyor
Derse başla →
Kaynaklar
- Anthropic - · Prompt Caching Documentation · docs.anthropic.com
- Chen, L. ve ark. 2023 · FrugalGPT: How to Use Large Language Models While Reducing Cost · arXiv:2305.05176
- Kwon, W. ve ark. 2023 · Efficient Memory Management for LLM Serving with PagedAttention · SOSP 2023
ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu ·
Bütün dersler