[PYTHON] LSTM (1) zur Zeitreihenvorhersage (für Anfänger)

Diesmal über LSTM. Vorhersageprobleme für reguläre Phänomene wie Zeitreihen können ein nützlicher Ansatz sein. Da es sich nach meinem eigenen Verständnis um eine Ausgabe handelt, habe ich die Referenzseite fast einmal verfolgt. LSTM(Long Short-Term Memory) Kurz gesagt, das Kurzzeitgedächtnis wird über einen langen Zeitraum verwendet, um das Lernen zu fördern. Es gibt eine Funktion. Das Diagramm des LSTM-Teils ist wie folgt. Verwenden Sie bei der Berechnung mit ht die vorherigen Ausgabeergebnisse ht-1 und Xt. ht ist ein Bild, mit dem ht + 1 gefunden wird. Beziehungsweise, ・ OutputGate ・ Vergiss das Tor ・ Eingangstor ・ Aktivierungsfunktionsteil ・ Speicherzelle Besteht aus OutputGate Der rote Teil des Pfeils unten. Unter Verwendung der linearen Umwandlung Wo für Xt, der linearen Umwandlung Ro für ht und der Vorspannung Bo Ot=σ(WoXt+Roht−1+Bo) Ist berechnet. Eine Formel ähnlich der eines neuronalen Netzwerks. Forget Gate Wie OutputGate Es gibt Wf-, Rf- und Bf-Parameter ft=σ(WfXt+Rfht−1+Bf) Ist berechnet. Input Gate Ähnlich it=σ(WiXt+Riht−1+Bi) Ist berechnet.

Aktivierungsfunktionsteil

Zt=tanh(WzXt+Rzht−1+Bz) Berechnungsformel für den Aktivierungsfunktionsteil.

Berechnung in der Nähe der Speicherzelle

① Vergiss die Torseite

Durch ft = σ (WfXt + Rfht - 1 + Bf) und Ausgabe von Ct-1 von der gepunkteten Linie der Zelle Die Ausgabe ist Ct - 1 ⊗ ft. ⊗ ist das Produkt jedes Elements

② Eingangstorseite

Durch es = σ (WiXt + Riht - 1 + Bi) und Zt = tanh (WzXt + Rzht - 1 + Bz) Eine Ausgabe namens ⊗ Zt.

③ Vor der Zelle

Durch Ct - 1 ⊗ ft in ① und es ⊗ Zt in ② Ct = Ct−1 ⊗ ft　+ it ⊗ Zt Ist berechnet.

④ In der Nähe des Ausgangs

Speicherzellenteil Ct = it ⊗ Zt + Ct - 1 ⊗ ft Ausgangstor Teil Ot = σ (WoXt + Roht - 1 + Bo) Verwenden von ht = Ot ⊗ tanh(Ct) Ist fertig.

LSTM-Punkte

Ct = Ct−1 ⊗ ft　+ it ⊗ Zt Ct-1 ⊗ ft Im Forget Gate-Teil passt Ct-1 an, wie stark es die Parameter vergangener Informationen widerspiegelt. Der t Zt-Eingangsteil stellt ein, wie stark der erhaltene Eingabewert von der Zt-Aktivierungsfunktion reflektiert wird.

Referenz

[Grundlagen von LSTM, die jetzt nicht zu hören sind] (https://www.hellocybernetics.tech/entry/2017/05/06/182757)