ML Academy · Rota 3 · Büyük Dil Modelleri

Bir transformer bloğu, baştan sona

Attention'ı gördün. Şimdi onun etrafındaki her şeyi ve 7 milyar parametrenin nereye gittiğini.

2 adım 115 XP Ücretsiz hesap gerekiyor

Kaynaklar

Vaswani, A. ve ark. 2017 · Attention Is All You Need · NeurIPS 2017
He, K. ve ark. 2016 · Deep Residual Learning for Image Recognition (artık bağlantılar) · CVPR 2016
Zhang, B. & Sennrich, R. 2019 · Root Mean Square Layer Normalization (RMSNorm) · NeurIPS 2019
Shazeer, N. 2020 · GLU Variants Improve Transformer (SwiGLU) · arXiv:2002.05202
Touvron, H. ve ark. 2023 · LLaMA: Open and Efficient Foundation Language Models · arXiv:2302.13971

ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu · Bütün dersler