[PYTHON] Aktienkursprognose 2 Kapitel 2

Aidemy　2020/10/30

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur KI-Fachschule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der zweite Beitrag der Aktienkursprognose. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ ③ Erfassen Sie Zeitreihendaten des durchschnittlichen Aktienkurses von Nikkei ・ ④ Erstellen Sie ein Modell, das die Höhen und Tiefen der Aktienkurse vorhersagt

③ Erfassen Sie Zeitreihendaten des durchschnittlichen Aktienkurses von Nikkei

Ablauf der Zeitreihendatenerfassung

I. Zeitreihendaten von Aktienkursen erfassen und in DataFrame konvertieren Ii Andere Elemente als den "Schlusskurs" der Daten löschen und nach Datum sortieren Ⅲ Kombinieren Sie Tweet-Daten und Zeitreihendaten

I. Zeitreihendaten von Aktienkursen erfassen und in DataFrame konvertieren

• Obwohl __ "pd.read_csv ()" __ auch dieses Mal verwendet wird, ist es erforderlich, die URL mithilfe des in "Scraping 1" erlernten Moduls __urllib.request anzugeben, da csv von der URL abgerufen wird. Gibt es. Erstellen Sie daher die Funktion "read_csv", die diese Prozesse selbst zusammenfasst.
• Öffnen Sie zunächst die URL mit __urllib.request.urlopen () __, lesen Sie sie mit __read () __ und dekodieren Sie sie mit __decode ('shift_jis') __. Wenn Sie so weit gehen, können Sie es als DataFrame mit __ "pd.read_csv" __ wie eine normale CSV-Datei erhalten.

·Code

Ii Andere Elemente als den "Schlusskurs" der Daten löschen und nach Datum sortieren

-In dieser Vorhersage werden nur __ "Datumsdatum" __ und __ "Schlusskurs" __ verwendet, also __ die anderen __ löschen. Außerdem möchte ich die Daten nach __date __ sortieren, also konvertiere ich das "Datendatum" in __index und sortiere es . - "pd.to_datetime ()" __ behandelt "Datendatum" als Zeitreihendaten. Verwenden Sie außerdem __ "set_index ()" __, um dies zu einem Index zu machen. -Die Daten, die dieses Mal nicht verwendet wurden __ ['offener Preis', 'hoher Preis', 'niedriger Preis'] __ werden mit __ "drop ()" __ und __ "sort_index (ascending = True)" __ gelöscht Sortieren Sie die Daten in aufsteigender Reihenfolge (älteste zuerst) mit.

·Code

Ⅲ Kombinieren Sie Tweet-Daten und Zeitreihendaten

-Die im vorherigen Abschnitt erstellten und im vorherigen Abschnitt organisierten Zeitreihendaten __ "df" __ und die in Kapitel 1 erstellten und mit dem PN-Wert verknüpften Tweet-Daten __ "df_tweets" __ "join ()". Kombiniere mit __ und lösche NaN mit __ "dropna ()" __. Speichern Sie es als "table.csv" mit __ "to_csv ()" __.

・ Code

・ Ausgabeergebnis (nur Teil)

④ Erstellen Sie ein Modell, das die Höhen und Tiefen des Aktienkurses am nächsten Tag anhand der täglichen Stimmung vorhersagt.

Fluss der Aktienkursprognose

Ich teile die Daten und erstelle Daten mit dem Index "Datum" und der Spalte "PN-Wert" und "Schlusskurs". Ii Erstellen Sie Daten mit dem Index "Datum" und der Spalte "PN-Wert" und "Schlusskurs". Ⅲ Berechnen Sie die Differenz zwischen dem Aktienkurs (Endwert) und dem Vortag des PN-Werts für Trainingsdaten Ⅳ Ermitteln Sie die Differenz zwischen dem Aktienkurs (Endwert) und dem PN-Wert für die letzten drei Tage am Tag i und berechnen Sie sie als Merkmalsmenge. Ⅴ Erstellen Sie ein Modell aus Funktionen

I. Daten teilen und standardisieren

・ Dieses Mal werden wir den Aktienkurs mit __ "Technische Analyse" __ prognostizieren. Bei dieser Methode werden die Änderung (Differenz) des durchschnittlichen Aktienkurses in den letzten 3 Tagen und die Änderung (Differenz) des PN-Werts __ als Merkmalsgrößen verwendet, um die Höhen und Tiefen des Aktienkurses am nächsten Tag vorherzusagen.

• Teilen Sie zunächst die im vorherigen Abschnitt erstellte tägliche "Tabelle", in der der tägliche "PN-Wert" und der "Schlusskurs" gespeichert sind, in __ Trainingsdaten und Testdaten__ auf. Verwenden Sie __ "train_test_split ()" __ zum Teilen. Der __PN-Wert __ wird in "X" und der Abschlusspreis __ in "y" gespeichert.
• Als nächstes werden die Trainingsdaten (PN-Wert) __standardisiert __ und die __Testdaten werden ebenfalls unter Verwendung des Durchschnitts und der Varianz der __ Trainingsdaten standardisiert.

·Code

Ii Erstellen Sie Daten mit dem Index "Datum" und der Spalte "PN-Wert" und "Schlusskurs".

・ Nach der Standardisierung besteht der nächste Schritt darin, Trainingsdaten und Testdaten in DataFrame zu konvertieren. Die Spalte ist __ "PN-Wert" und "Schlusskurs" __ und speichert __ "standardisiertes X" bzw. "y" __. Außerdem ist __index ein Datum __.

• Speichern Sie den erstellten DataFrame als CSV, damit er in den folgenden Abschnitten verwendet werden kann.

·Code

Ⅲ Berechnen Sie die Differenz zwischen dem Aktienkurs (Endwert) und dem Vortag des PN-Werts für Trainingsdaten

-__ Der Zweck besteht darin, die Änderung (Differenz) zwischen dem PN-Wert und dem Schlusskurs für die letzten 3 Tage zu berechnen. Verarbeiten Sie also zuerst die Daten, damit die Änderung pro Tag berechnet werden kann. ・ Öffnen Sie zunächst die im vorherigen Abschnitt erstellte Datei df_train.csv. Da dieser DataFrame unmittelbar danach aufgeteilt wird, erstellen Sie eine leere Liste, damit sie für jedes Element gespeichert werden kann. Insbesondere "exchange_dates" zum Speichern von Daten, "pn_rates" zum Speichern von PN-Werten, "pn_rates_diff" zum Ermitteln der Differenz zum PN-Wert in der vorherigen Zeile und "pn_rates_diff" zum Speichern von Aktienkursen (Schlusskursen) auf dieselbe Weise. Bereiten Sie eine leere Liste mit "exchange_rates" und "exchange_rates_diff" vor, die die Differenz zum Aktienkurs der vorherigen Zeile ermittelt.

• Bereiten Sie außerdem den PN-Wert des Vortages und die Schlusskurse "prev_pn" und "prev_exch" vor.

・ Sobald Sie diesen Punkt erreicht haben, wird __DataFrame aufgeteilt __. Ich möchte einen Tag nach dem anderen damit umgehen, also nehme ich __ Zeile für Zeile __ heraus. Teilen Sie es für jede Zeile durch __ ",", die erste Spalte ist das Datum, die zweite Spalte ist der PN-Wert und die dritte Spalte ist der Aktienkurs, also jedes __ in der zuvor erstellten leeren Liste Geschäft __.

• Ähnlich wird die Differenz zwischen dem PN-Wert / dem Aktienkurs der vorherigen Zeile in einer leeren Liste gespeichert.
• Wenn Sie den aktuellen Wert am Ende der for-Anweisung in __ "prev_pn" "prev_exch" __ eingeben, kann er bei der nächsten Wiederholung als Daten des vorherigen Tages behandelt werden.

·Code

Ⅳ Ermitteln Sie die Differenz zwischen dem Aktienkurs (Endwert) und dem PN-Wert für die letzten drei Tage am Tag i und berechnen Sie sie als Merkmalsmenge.

・ Wenn Sie die Änderungen pro Tag beschreiben können, schreiben Sie die Änderungen alle __3 Tage auf die gleiche Weise __.

• Um die Indexnummer (Datum) anzugeben, speichern Sie zuerst den Wert von __Wie viele Tage, um __ zu trennen, in der Variablen "INPUT_LEN". Bereiten Sie in ähnlicher Weise "tr_input_mat" vor, in dem Änderungen in den letzten drei Tagen gespeichert sind, und "tr_angle_mat", in dem die Ober- und Unterseite des Aktienkurses am Referenztag (Tag i) als leere Listen gespeichert sind. -Nächste, für jeden __i Tag im Bereich der PN-Wertänderung Datenlänge "data_len" __, __INPUT_LEN Tage PN-Wert und Aktienkursänderung __ zusammen mit einer leeren Liste namens tmp_arr Speichern Sie es und speichern Sie es in der nächsthöheren Dimension "tr_input_mat".

• Ähnlich wird die Änderung des Aktienkurses (exchange_rates_diff) am Tag i in "tr_angle_mat" gespeichert, in dem die Ober- und Unterseite des Aktienkurses als "1" bei __ plus und "0" bei minus gespeichert werden.

• Durch Konvertieren von "tr_input_mat" und "tr_angle_mat", die bisher erstellt wurden, in das __NumPy-Format und unter Verwendung von __, __ "train_feature_arr" __ (Trainingsdaten), __ "train_label_arr" __ (Lehrerbezeichnung) ist es schließlich ein Modell. Die Daten, die übergeben werden können, sind abgeschlossen.

-Die bisherige Erklärung und der folgende Code beziehen sich ausschließlich auf Trainingsdaten, aber natürlich sind auch Testdaten erforderlich, um ein Modell zu erstellen. Daher ist es erforderlich, dasselbe für __testdaten __ zu tun.

·Code

Ⅴ Erstellen Sie ein Modell aus Funktionen

・ Nachdem Sie Trainingsdaten und Lehreretiketten für Trainingsdaten und Testdaten erstellt haben, können Sie daraus endlich ein Modell erstellen.

• Erstellen Sie ein Vorhersagemodell mit logistischer Regression, SVM und zufälliger Gesamtstruktur und vergleichen Sie die Vorhersagegenauigkeit jedes Modells. ・ (Überprüfung) Das Modelllernen erfolgt mit __ "model.fit ()" __, und die Anwendung erfolgt mit __ "model.format ()" __.

Zusammenfassung

• Um Zeitreihendaten zu erfassen, erfassen Sie die Zeitreihendaten des durchschnittlichen Nikkei-Aktienkurses mit URL und erfassen Sie nach Durchführung der erforderlichen Verarbeitung wie z. B. Dekodierung mit csv file. Sobald Sie es erhalten haben, __ löschen Sie nicht verwendete Spalten __.
• Beim Erstellen eines Aktienkursprognosemodells müssen zunächst die Daten erstellt werden, die an das __- Modell __ übergeben werden sollen. __ "Differenz zwischen Aktienkurs (Endwert) und PN-Wert für die letzten 3 Tage am Tag i" __ sind die Lerndaten, __ "Ob der Aktienkurs gestiegen oder gefallen ist" __ ist das Lehrerlabel, also geben Sie Ihr Bestes Erschaffen. -Das Modell selbst kann mit __ "model.fit ()" __ erstellt werden.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.