Tokenizasyon: metin sayıya nasıl döner

Bir dil modelinin gördüğü ilk şey. Ve Türkçe gibi eklemeli dillerde neden özellikle önemli olduğu.

Kaynaklar

• Sennrich, Haddow, Birch 2016 · Neural Machine Translation of Rare Words with Subword Units (BPE) · ACL 2016
• Kudo, T. & Richardson, J. 2018 · SentencePiece: A Simple and Language Independent Subword Tokenizer · EMNLP 2018
• Gage, P. 1994 · A New Algorithm for Data Compression (özgün BPE) · The C Users Journal, 12(2)
• Rust, P. ve ark. 2021 · How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models · ACL 2021