Çok dilli modellerin kör noktası
Model bir dili "bilmiyor" değil; tokenizer o dili tanımıyor. Fark, faturanın üzerinde görünüyor.
4 adım
225 XP
Ücretsiz hesap gerekiyor
Derse başla →
Kaynaklar
- Ahia, O. ve ark. 2023 · Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models · EMNLP 2023
- Petrov, A. ve ark. 2023 · Language Model Tokenizers Introduce Unfairness Between Languages · NeurIPS 2023
- Rust, P. ve ark. 2021 · How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models · ACL 2021
- Conneau, A. ve ark. 2020 · Unsupervised Cross-lingual Representation Learning at Scale (XLM-R) · ACL 2020
ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu ·
Bütün dersler