LSTM: hücre yolu ve unutma kapısı

RNN dersinde etkinin adım başına 0.59 oranıyla söndüğünü ölçmüştük. LSTM o oranı 1’e yaklaştırıyor, ve nasıl yaptığı tek bir çarpımda görülüyor.

Kaynaklar

• Hochreiter, S. & Schmidhuber, J. 1997 · Long Short-Term Memory · Neural Computation 9(8)
• Gers, F. A., Schmidhuber, J. & Cummins, F. 2000 · Learning to Forget: Continual Prediction with LSTM · Neural Computation 12(10)
• Jozefowicz, R., Zaremba, W. & Sutskever, I. 2015 · An Empirical Exploration of Recurrent Network Architectures · ICML 2015