LoRA: modeli tamamen eğitmeden uyarlamak

Transformer dersi "LoRA ve nicemlemenin varlık sebebi budur" demişti. Sebebi burada ölçülüyor.

Kaynaklar

• Hu, E. J. et al. 2021 · LoRA: Low-Rank Adaptation of Large Language Models · arXiv:2106.09685 · ICLR 2022
• Aghajanyan, A., Zettlemoyer, L. & Gupta, S. 2021 · Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning · ACL 2021
• Dettmers, T. et al. 2023 · QLoRA: Efficient Finetuning of Quantized LLMs · NeurIPS 2023