[PYTHON] Aktienkursprognose 1 Kapitel 1

Aidemy　2020/10/30

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dieses Mal werde ich ein Memo der Aktienkursprognose 1 veröffentlichen. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Überprüfen Sie den Ablauf der Aktienkursprognose ・ ① Holen Sie sich Tweets ・ ② Emotionsanalyse (negative / positive Analyse)

Fluss der Aktienkursprognose

-Es gibt technische Analyse __ und __ fundamentale Analyse, und dieses Mal werden wir technische Analyse durchführen. Der Fluss ist wie folgt. (In diesem Kapitel tun Sie ① und ②) ① Verwenden Sie die Twitter-API, um die vergangenen tweets eines bestimmten Kontos abzurufen. (2) Führen Sie eine tägliche __ Tweet-Emotionsanalyse (negative / positive Analyse) __ im Polaritätswörterbuch durch. ③ Holen Sie sich __Zeitreihendaten des durchschnittlichen Nikkei-Aktienkurses __. ④ Erstellen Sie ein __Modell, das die Höhen und Tiefen des Aktienkurses am nächsten Tag anhand der täglichen Stimmung vorhersagt.

① Holen Sie sich Tweets

・ Registrieren Sie sich zunächst bei TwitterAPI. ・ Die Registrierungsmethode entfällt. -Registrieren und erhalten Sie __ "Consumer Key", "Consumer Secret", "Access Token Secret", "Access Token" __ und verwenden Sie es, um Tweets zu erhalten.

Holen Sie sich Tweets nach Schlüsselwort

・ Code

-Der __ 'Python' __ Teil des obigen Codes __ "res" __ ist das zu erwerbende Schlüsselwort.

Holen Sie sich Tweets nach Konto

・ Code

-Der __ '@ nikkei_bizdaily' __ Teil des obigen Codes "Tweets" ist das zu erwerbende Konto. (@Nikkei_bizdaily ist ein Account von "Nikkei Sangyo Shimbun")

② Tweet Emotionsanalyse (negative / positive Analyse)

・ Die Emotionsanalyse (negative / positive Analyse) soll beurteilen, ob text durch Verarbeitung natürlicher Sprache eine positive oder eine negative Bedeutung hat. -Die Kriterien für die Beurteilung sind in __ "Polar Dictionary" __ enthalten. Die Emotionsanalyse wird durchgeführt, indem für jedes Wort im Text auf das Wörterbuch verwiesen wird. ・ Dieses Mal wird __ "Korrespondenztabelle für die Polarität von Wortemotionen" __ als Polaritätswörterbuch verwendet. Dies ist ein Wort, das auf einen Wert von -1 bis 1 (PN-Wert) unter Bezugnahme auf das "Iwanami Japanese Dictionary (Iwanami Shoten)" angewendet wird. Ein größerer Wert zeigt eine positive Bedeutung an, und ein kleinerer Wert zeigt eine negative Bedeutung an.

Analyse des Emotionsflusses von Tweets

I. Holen Sie sich Tweets und konvertieren Sie sie in __DataFrame __. (Siehe Aktienkursprognoseverfahren ①) Ii. Polaritätswörterbuch / DataFrame-Konvertierung importieren. Ⅲ. _ Morphologische Analyse mit MeCab __. Iv. Holen Sie den __PN-Wert aus dem Polaritätswörterbuch für jedes nach Morphologie analysierte Wort und fügen Sie ihn dem Wörterbuch hinzu. V. Berechnen Sie den durchschnittlichen __PN-Wert für jeden Tweet . Ⅵ . Standardisieren __ und zeigen die Änderung des PN-Werts auf __graph __ an.

Ii. Polaritätswörterbuch / DataFrame-Konvertierung importieren

-Importieren Sie das Polaritätswörterbuch mit __pd.read_csv () __. Geben Sie in der Korrespondenztabelle "Wortemotionspolarität" __ "names = ('Word', 'Reading', 'POS', 'PN')" __ an, um das Wort oder den PN-Wert zu lesen. -Listen Sie den Wortteil des Polaritätswörterbuchs in word_list und den PN-Werteteil pn_list auf, speichern Sie ihn und machen Sie ihn zusammen zu einem Wörterbuch (pn_dict).

·Code

Iii. Morphologische Analyse mit MeCab

• Da der Tweet nicht wie er ist an das Polaritätswörterbuch übergeben werden kann, wird er durch morphologische Analyse in Wörter unterteilt. Hier definieren und verwenden Sie die Funktion __ "get_diclist" __. ・ Die morphologische Analyse wird mit MeCab durchgeführt. Da die analysierten Daten für jedes Wort fehlerhaft sind, werden sie für jede Zeile separat aufgeführt. -Auch die letzten beiden Zeilen sind nicht erforderlich, also löschen Sie sie.
• Da jede Trennlinie von der Registerkarte getrennt ist, teilen Sie sie vollständig mit __re.split () __ und fügen Sie sie Wort für Wort zur Liste hinzu. (Dic_list)

·Code

Iv. Erhalten Sie den PN-Wert aus dem Polaritätswörterbuch für jedes nach Morphologie analysierte Wort und fügen Sie es dem Wörterbuch hinzu.

-Wenn das Polaritätswörterbuch durch morphologische Analyse referenziert werden kann, __ addieren Sie den PN-Wert des Polaritätswörterbuchs zu den Diktatdaten für jedes Wort __. Dies wird durch Definieren der Funktion "add_pnvalue" verwendet.

• Durchsuchen Sie das Wörterbuch nach der grundlegenden Wortform __ "'BaseForm'" _, die mit der im vorherigen Abschnitt erstellten __ "get_diclist" __ abgerufen werden kann. Wenn sie im Wörterbuch enthalten ist, erhalten Sie sie in dieser Form. Wenn sie nicht im Wörterbuch enthalten ist, _ Fügen Sie jedes als 'notfound ' zu einer leeren Liste mit dem Namen diclist_new hinzu.

・ Code

V. Berechnen Sie den durchschnittlichen PN-Wert für jeden Tweet

• Ermitteln Sie aus der von diclist_new oben zurückgegebenen Liste den Durchschnitt der __PN-Werte __. ・ Bei der Berechnung des Durchschnitts wird der Teil, der im vorherigen Abschnitt nicht gefunden wurde, von der Berechnung des PN-Werts ausgeschlossen. Wenn zum Zeitpunkt der Berechnung nichts in pn_list enthalten ist, wird es mit einem Durchschnitt von 0 berechnet (da ein Fehler auftritt, wenn kein Wert eingegeben wird).

・ Code

Führen Sie eine Standardisierung durch und zeigen Sie Änderungen des PN-Werts in einem Diagramm an

-Finally wird der __PN-Wert als Grafik __ dargestellt. Wenn es jedoch unverändert bleibt, ändert sich das Ergebnis des __ - Diagramms abhängig davon, ob das gesamte Polaritätswörterbuch viele positive oder negative Bedeutungen enthält. Passen Sie das Ergebnis daher an, indem Sie standardization durchführen. -Für Diagramme verwenden Sie __plt.plot () __. Die vertikale Achse ist __ "Durchschnitt der pn-Werte" __ und die horizontale Achse ist __ "Datum" __. Zu diesem Zeitpunkt ist der Teil __ 'Text' __, bei dem es sich um eine andere Information als den PN-Wert handelt, keine unnötige Information für das Diagramm. Löschen Sie ihn daher.

・ (Überprüfung) Standardisierungsmethode (unbeaufsichtigtes Lernen 3): __ (Unterschied zwischen Daten und Durchschnitt) ÷ Standardabweichung __ X = (X - X.mean(axis=0))/X.std(axis=0)

-Code (beim Standardisieren der durchschnittlichen "means_list" des pn-Werts eines bestimmten Tweets df_tweets)

・ Grafik

Zusammenfassung

・ Die Aktienkursprognose wird im Ablauf von "Erfassung von Tweets", "Emotionsanalyse (negative / positive Analyse)", "Erfassung von Zeitreihendaten von Aktienkursen" und "Erstellung eines Aktienkursprognosemodells" durchgeführt. ・ Sie können Tweets erhalten, indem Sie sich bei der Twitter-API registrieren. ・ Informationen zur Emotionsanalyse finden Sie unter "Negative / Positive Analyse".

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.