[PYTHON] RNN_LSTM1 Zeitreihenanalyse

Aidemy　2020/11/10

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der erste Beitrag von RNN_LSTM. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ ・

Überprüfung des tiefen Lernens

Was ist tiefes Lernen?

(Für tiefes Lernen lernen Sie aus "Deep Learning Basics") -__ Deep Learning __ bezieht sich auf ein Modell __, in dem die __ Zwischenschicht (verborgene Schicht) des neuronalen Netzwerks tief gesetzt ist. ・ Das neuronale Netzwerk ist eines der maschinellen Lernprogramme, das den Mechanismus der Gehirnübertragung anwendet und aus __ "Eingabeschicht", "Zwischenschicht" und "Ausgabeschicht" __ besteht.

• Während der für das maschinelle Lernen gewünschte Ausgabewert erhalten werden kann, wenn Informationen von links nach rechts übertragen werden, kann die Genauigkeit des Modells verbessert werden, indem ein "Lernen" durchgeführt wird, bei dem die Parameter angepasst werden, indem Informationen von rechts nach links gegeben werden.
• Durch die Vertiefung der Ebene können __ Parameter im Vergleich zu dem Fall, in dem dies nicht erfolgt, reduziert werden, und es besteht der Vorteil, dass __ die Lerneffizienz gut __ ist.

Bestimmen der Anzahl der Schichten und der Anzahl der Einheiten

-Eine der Dinge, die beim Erstellen eines Modells für ein neuronales Netzwerk berücksichtigt werden müssen, ist __ "Anzahl der Schichten" __ und __ "Anzahl der Einheiten" __. Da es keine Formel gibt, um diese zu bestimmen, müssen Sondierungsentscheidungen getroffen werden. -Das offensichtlichste ist die Anzahl der Einheiten (Anzahl der Dimensionen) __ in der Ausgabeebene. Hierzu kann die Anzahl der zu klassifizierenden Kategorien (Anzahl der Klassen) unverändert festgelegt werden.

• In Bezug auf die Anzahl der Einheiten in anderen Ebenen ist es üblich, mit der Anzahl der Einheiten __ "(Eingabeebene + Ausgabeebene) * 2/3" __ zu beginnen. Nachfolgende Ebenen werden festgelegt, während die Lernergebnisse überprüft werden.
• Bezüglich der Anzahl der __ Zwischenschichten __ fügen Sie diese hinzu, wenn die Anzahl der Einheiten im obigen Verfahren wahrscheinlich zunimmt.

Überlernen von Maßnahmen

・ __ "DropOut ()" __ ist die erste Methode, um Überlernen zu verhindern, dh __ zu verallgemeinern. Dies ist eine Verallgemeinerungsmethode, bei der Knoten nicht mit einem festen Verhältnis gelernt werden. Stellen Sie im Allgemeinen das Verhältnis __50% __ ein. -Dropout kann mit __ "model.add (Dropout (ratio))" __ durchgeführt werden.

-Eine andere Methode zur Verallgemeinerung ist __ "Early Stopping" __. Dies ist eine Methode, um Überlernen zu verhindern, indem das Lernen gestoppt wird, wenn sich die Genauigkeit beim wiederholten Lernen nicht verbessert. ・ Man kann sagen, dass die Genauigkeit am besten ist, wenn der Fehler zwischen den Trainingsdaten und den Testdaten ungefähr gleich ist.

• Frühes Stoppen kann mit __ "Early Stopping ()" __ erfolgen. Als Parameter wird __ "monitor = 'val_loss'" __ verwendet, um den Fehler als Kriterium für die Genauigkeit zu bestimmen, und __ "Geduld" __ wird verwendet, um die Anzahl vergangener Daten zur Beurteilung des Fehlers anzugeben, und __ "Modus" __ Geben Sie die Definition (Obergrenze oder Untergrenze) an, die als konvergiert beurteilt wird.

RNN/LSTM

Über RNN

(Erfahren Sie mehr über RNN mit "Zeitreihenanalyse") -__ RNN__ ist ein __neurales Netzwerk, das __Zeitreihendaten verarbeiten kann. Vergangene Informationen werden im Modell beibehalten, um das Konzept der Zeit in das neuronale Netzwerk zu integrieren. ・ Mit fortschreitender Zeitreihe kann der Gradient jedoch verschwinden oder der Rechenaufwand kann explosionsartig ansteigen __ "Gradientenexplosion" __, sodass er nicht für langfristiges Lernen geeignet ist __ Es gibt einen Punkt. -Für die Gradientenexplosion gibt es eine Lösung namens "Gradientenbeschneidung" __, die besagt: "Korrigieren Sie den Gradienten, wenn der Gradientenwert den Schwellenwert überschreitet".

Über LSTM

-Die Lösung für das oben genannte RNN-Problem lautet __ "LSTM" __. Durch Ersetzen der mittleren Schicht von RNN durch einen LSTM-Block kann der Kontext für eine lange Zeit beibehalten werden.

UNIQLO-Bestandsdatenprognose

Definieren Sie den Prozess bis zur Modellerstellung mit einer Funktion

・ Für diese Daten wird __ "Unichrome Stock Price Data" __ verwendet. Dieses Mal werden wir "Vorhersagen der Daten __ des nächsten Tages __ aus den Daten __ vor 15 Tagen" durchführen.

• Im Code wird zuerst die Funktion __ "apply_window ()" __ erstellt, die die Daten alle n Tage teilt (window_size). -Nächste erstellen Sie eine __ "split_train_test ()" __ Funktion, die die Daten in Trainingsdaten und Testdaten unterteilt. Dieses Mal werden __70% __ standardmäßig als Trainingsdaten verwendet. -Erstellen Sie eine Funktion __ "data_load ()" __, die Daten liest. Erkennen Sie nach dem Lesen der Daten die Spalte "Datum" als Datumsdaten und sortieren Sie danach nach Datum. Schließlich erhalten Sie __close price __ (Spalte 'Close') in dieser Reihenfolge. ・ Erstellen Sie anschließend __ "train_model ()" __, das das Modell definiert und das Training durchführt. Die Einheitsgröße der Eingabeebene beträgt __ "15" __, da diesmal Daten im Wert von "15 Tagen" eingegeben werden. Das Modell verwendet __Sequential () __, und Zeitreihendaten werden von der __LSTM-Schicht __ verarbeitet. Nachdem Sie die Ebene definiert haben, kompilieren Sie sie und trainieren Sie sie diesmal mit der Anzahl der Schulungen (Epochen) 10. -Finally erstellen Sie eine __ "Predict ()" __ Funktion, die das Modell vorhersagt. Bei der Rückgabe wird es als __ "eindimensionales NumPy-Array" __ wie __ "pred.flatten ()" __ zurückgegeben.

・ Code

Skalenanpassung (Standardisierung)

-Implementieren Sie das Modell mit den vorhandenen Funktionen. Laden Sie die Daten mit __ "data_load () __", ermitteln Sie den Schlusskurs, teilen Sie die Daten mit __ "split_train_test ()" __ und skalieren Sie die Daten __, bevor Sie die Daten an das Modell __ übergeben. Dieses Mal werden wir Standardisierung durchführen. -Für die Standardisierung erstellen Sie eine Instanz mit __ "StandardScaler ()" __, berechnen Sie die durchschnittliche Verteilung der Daten mit __ "fit_transform ()" __ für Trainingsdaten und standardisieren Sie diese sowie für Test und Daten __ Nur mit "transform ()" standardisieren __ (da Testdaten bei der Definition der Standardisierung weniger genau sind).

• Teilen Sie die Daten nach der Standardisierung mit __ "apply_window ()" __. Dieses Mal ist window_size auf 15 gesetzt, aber hier möchten wir den "Schlusskurs des nächsten Tages" in die Größe einbeziehen, daher lautet das Argument __ "window_size + 1" __. Das letzte (-1) der durch dieses geteilten Datenliste wird als korrektes Antwortetikett (y_train) übergeben, und die anderen 15 Daten werden als Trainingsdaten (X_train) an __ "train_model ()" __ übergeben. Danach mit "Predict ()" vorhersagen und fertig.

・ Wenn Sie die durch Vorhersage dieser Zeit vorhergesagten Daten mit den Testdaten in einem Diagramm vergleichen möchten, können Sie die Daten mit __ "inverse_transform ()" __ wiederherstellen und dann __ "plt.plot ()" __ verwenden, um sie zu veranschaulichen. gut.

・ Code

・ Ergebnis

(Entwicklung) Schlusskurs nach 10 Tagen vorhersagen

・ Im vorherigen Abschnitt war der Schlusskurs, der vorhergesagt werden konnte, einen Tag wert. Wenn Sie diese Vorhersage jedoch um einen Tag verschieben und zehn Tage lang durchführen, kann ein Modell erstellt werden, das den Schlusskurs in 10 Tagen vorhersagt. ..

• Erstellen Sie als konkrete Methode eine Funktion __ "Predict_ten_days ()" __, die zehnmal vorhersagt, und übergeben Sie die Daten und das Modell an sie. Der Startpunkt der Testdaten "größer oder gleich window_size (kleiner als 365-window_size)" wird jedoch durch __ "start_point" __ definiert, und die Daten werden von dieser Position aus verwendet.

-Code (nur zusätzliche Punkte, start_point ist optional)

・ Ergebnis

Zusammenfassung

• Als Verallgemeinerungsmethode gibt es zusätzlich zu dem bisher aufgetretenen "Dropout" auch ein "Early Stop". Dies soll ein Überlernen verhindern, indem das Lernen automatisch gestoppt wird, wenn sich die Genauigkeit nicht verbessert.
• Wenn Sie ein Modell erstellen, das aus den Daten der letzten n Tage eine bestimmte Vorhersage macht, teilen Sie die Daten durch n und passen Sie die Eingabegröße des Modells entsprechend an. ・ Wenn Sie in wenigen Tagen weitere zukünftige Zeitreihenanalysen wie Aktienkursprognosen durchführen möchten, können Sie ein Modell erstellen, indem Sie die täglichen Prognosen wiederholen.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.