[PYTHON] LSTM (1) pour la prédiction de séries chronologiques (pour les débutants)

Cette fois, à propos de LSTM. Les problèmes de prévision pour des phénomènes réguliers tels que les séries chronologiques peuvent être une approche utile. Puisqu'il s'agit d'une sortie pour ma propre compréhension, j'ai presque retracé le site de référence une fois. LSTM(Long Short-Term Memory) En un mot, la mémoire à court terme est utilisée pendant une longue période pour promouvoir l'apprentissage. Il y a une fonctionnalité. Le schéma de la partie LSTM est le suivant. Dans le calcul avec ht, utilisez les résultats de sortie précédents ht-1 et Xt. ht est une image utilisée pour trouver ht + 1. Chaque, ・ OutputGate ・ Oubliez la porte ・ Porte d'entrée ・ Partie fonction d'activation ・ Cellule mémoire Consiste en OutputGate La partie rouge de la flèche ci-dessous. Utilisation de la conversion linéaire Wo pour Xt, de la conversion linéaire Ro pour ht et du biais Bo Ot=σ(WoXt+Roht−1+Bo) Est calculé. Une formule similaire à celle d'un réseau de neurones. Forget Gate Comme OutputGate Il existe des paramètres Wf, Rf, Bf ft=σ(WfXt+Rfht−1+Bf) Est calculé. Input Gate De même it=σ(WiXt+Riht−1+Bi) Est calculé.

Partie fonction d'activation

Zt=tanh(WzXt+Rzht−1+Bz) Formule de calcul pour la partie fonction d'activation.

Calcul près de la cellule mémoire

① Oubliez le côté de la porte

Par ft = σ (WfXt + Rfht − 1 + Bf) et sortie Ct-1 à partir de la ligne pointillée de la cellule La sortie est Ct − 1 ⊗ ft. ⊗ est le produit de chaque élément

② Côté porte d'entrée

Par it = σ (WiXt + Riht − 1 + Bi) et Zt = tanh (WzXt + Rzht − 1 + Bz) Une sortie appelée ⊗ Zt.

③ Avant la cellule

Par Ct − 1 ⊗ ft dans ① et il ⊗ Zt dans ② Ct = Ct−1 ⊗ ft　+ it ⊗ Zt Est calculé.

④ Près de la sortie

Pièce de cellule mémoire Ct = it ⊗ Zt + Ct − 1 ⊗ ft Partie porte de sortie Ot = σ (WoXt + Roht − 1 + Bo) En utilisant ht = Ot ⊗ tanh(Ct) Est fait.

Points LSTM

Ct = Ct−1 ⊗ ft　+ it ⊗ Zt Ct-1 ⊗ ft Dans la partie Forget Gate, Ct-1 ajuste dans quelle mesure il reflète les paramètres des informations passées. La partie d'entrée ⊗ Zt ajuste la mesure dans laquelle la valeur d'entrée obtenue est reflétée par la fonction d'activation Zt.

référence

[Les bases de LSTM qui ne peuvent pas être entendues maintenant] (https://www.hellocybernetics.tech/entry/2017/05/06/182757)