Aşırı uyumu durdurmak

Dropout, weight decay, erken durdurma. Üçü de aynı şeyi yapar: modelin ezberlemesini engellemek. Bu derste hepsini ölçüyoruz.

Kaynaklar

• Srivastava, N. ve ark. 2014 · Dropout: A Simple Way to Prevent Neural Networks from Overfitting · JMLR, 15, 1929–1958
• Krogh, A. & Hertz, J. 1992 · A Simple Weight Decay Can Improve Generalization · NeurIPS 1991
• Prechelt, L. 1998 · Early Stopping, But When? · Neural Networks: Tricks of the Trade
• Loshchilov, I. & Hutter, F. 2019 · Decoupled Weight Decay Regularization (AdamW) · ICLR 2019