ML Academy · Rota 3 · Büyük Dil Modelleri

Çok başlı dikkat ve konum kodlaması

Tek bir dikkat bir tür ilişki yakalar. Peki dilbilgisi, gönderim ve konum aynı anda gerekiyorsa?

2 adım 105 XP Ücretsiz hesap gerekiyor

Kaynaklar

Vaswani, A. ve ark. 2017 · Attention Is All You Need · NeurIPS 2017
Clark, K. ve ark. 2019 · What Does BERT Look At? An Analysis of BERT's Attention · BlackboxNLP 2019
Voita, E. ve ark. 2019 · Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting · ACL 2019
Su, J. ve ark. 2021 · RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE) · arXiv:2104.09864

ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu · Bütün dersler