Uzman karışımı: parametre büyütmenin ucuz yolu
Ölçek yasaları dersi büyütmenin bedelini anlatmıştı. MoE tam olarak o bedeli kırmak için var.
4 adım
220 XP
Ücretsiz hesap gerekiyor
Derse başla →
Kaynaklar
- Shazeer, N. et al. 2017 · Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer · ICLR 2017
- Fedus, W., Zoph, B. & Shazeer, N. 2022 · Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity · JMLR, 23(120)
- Jacobs, R. A. et al. 1991 · Adaptive Mixtures of Local Experts · Neural Computation, 3(1)
ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu ·
Bütün dersler