Tokenizer'lar neden farklı davranır

İki model aynı metni farklı sayıda parçaya böler. Farkın nereden geldiği, tokenizerin hangi korpusla eğitildiğinde yazılıdır.

Kaynaklar

• Sennrich, R. ve ark. 2016 · Neural Machine Translation of Rare Words with Subword Units · ACL 2016
• Kudo, T. & Richardson, J. 2018 · SentencePiece: A simple and language independent subword tokenizer · EMNLP 2018
• Singh, A. K. & Strouse, D. J. 2024 · Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs · arXiv:2402.14903
• Petrov, A. ve ark. 2023 · Language Model Tokenizers Introduce Unfairness Between Languages · NeurIPS 2023