Ich hatte Python satt und analysierte die Daten mit Nehan (Corona verwandt, ist das Wort jetzt?)

Gruß

Hallo, das ist Sunfish. Die Datenanalyse mit Python ist heutzutage populär geworden, aber schwer zu beherrschen. Das Ziel ist es, mit Python zu ringen, und die Geschäftsverbesserung, die ich ursprünglich erreichen wollte, ist hier. .. .. Ich möchte ein Beispiel für die Analyse von Daten mit dem GUI-Tool "nehan" vorstellen, um solche Probleme zu lösen.

Rückblick auf die Anzahl der Vorkommen eines bestimmten Wortes aus Twitter-Daten

Mehr als ein halbes Jahr ist vergangen, seit das Koronavirus zu einem sozialen Problem wurde. Lassen Sie uns die Anzahl der Vorkommen dieses Wortes aus den Tweet-Daten der letzten zwei Monate verfolgen.

Daten

nehan kann Twitter-Daten direkt importieren, und diesmal habe ich diese Funktion verwendet. Ich werde es später vorstellen. Täglich ab dem 27. Juli 2020 ** werden 3.000 Tweets einschließlich "Corona" im Tweet-Text gesammelt und Daten für etwa 2 Monate werden vorbereitet. Klicken Sie hier für Details zu den Daten (https://sunfish.nehan.io/datasources_v2/3424). スクリーンショット 2020-09-28 19.13.12.png

Vorverarbeitung

1. Wählen Sie nur Spalten für Text und Created_At aus, die verwendet werden sollen
port_2 = port_1[['Created_At', 'Text']]

スクリーンショット 2020-09-28 19.14.05.png

2. Ändern Sie Created_At in Datumstyp
port_3 = port_2.copy()
port_3['Created_At'] = pd.to_datetime(
    port_3['Created_At'], errors='coerce', foramt=None)
port_3['Created_At'] = port_3['Created_At'].map(lambda x: x.date())

スクリーンショット 2020-09-28 19.14.16.png

3. Created_At, das nicht in den Datumstyp geändert werden kann, hat einen fehlenden Wert. Löschen Sie daher jede Zeile.
port_4 = port_3.copy()
port_4 = port_4.dropna(subset=None, how='any')

スクリーンショット 2020-09-28 19.14.31.png

Aggregieren Sie die Anzahl der Wörter pro Tag

4. Filtern Sie nach Tweets, die bestimmte Wörter enthalten
port_5 = port_4[(port_4['Text'].str.contains('Cluster', na=False, regex=False))]

スクリーンショット 2020-09-28 19.14.53.png

5. Täglich aggregieren
port_9 = port_5.copy()
port_9 = port_9.groupby(['Created_At']).agg(
    {'Created_At': ['size']}).reset_index()
port_9.columns = ['Created_At', 'Zeilenanzahl']

スクリーンショット 2020-09-28 19.15.09.png

Visualisieren und überlegen

Cluster

スクリーンショット 2020-09-28 19.17.44.png Das Wort "Cluster" ist weithin als Symbol für eine explosive Infektion anerkannt. Der Grund, warum es am 9. August geflogen ist, liegt wahrscheinlich am [Cluster Festival] in Shibuya (https://news.yahoo.co.jp/articles/76e47dc2ce6608e018fe37bc92be296e381f76fa?page=1).

[Aveno Mask](https://sunfish.nehan.io/projects/d2b98c5d-ef62-476d-81a5-f7ffff5c4ce7/nodes/node_6LbZiiiO7U569CmOj2hZ/visualize/xzmYA2dBkJKvONwXpE

スクリーンショット 2020-09-28 19.17.57.png Ich habe mir auch dieses Wort angesehen, wodurch ich mich nostalgisch fühlte.

[Refrain](https://sunfish.nehan.io/projects/d2b98c5d-ef62-476d-81a5-f7ffff5c4ce7/nodes/node_UHIKGUKeaNb4iaRAkEM2/visualize/AwneKrzJo1M0mEY4KqNB

スクリーンショット 2020-09-28 19.18.11.png Ein neuer Lebensstil hat Wurzeln geschlagen, aber es scheint, dass die Selbstbeherrschungsstimmung noch nicht vollständig vorbei ist. Es sieht so aus, als würde es allmählich abnehmen.

Zusammenfassung

Um strenge Ergebnisse zu erzielen, muss ich wirklich mehr Vorverarbeitung durchführen, aber ich habe versucht, die Daten nur zum Zweck der groben Beobachtung und Einführung von Nehan zu verarbeiten. Der obige Quellcode ist eine Kopie des Codes, der von nehans [Python-Exportfunktion] ausgegeben wird (https://prtimes.jp/main/html/rd/p/000000004.000044237.html).

Recommended Posts

Ich hatte Python satt und analysierte die Daten mit Nehan (Corona verwandt, ist das Wort jetzt?)
Ich habe Python satt, also habe ich versucht, die Daten mit nehan zu analysieren (ich möchte sogar mit Corona live gehen) - Teil 2)
Ich habe Python satt, also habe ich versucht, die Daten mit nehan zu analysieren (ich möchte sogar mit Corona live gehen) - Teil 1)
Ich habe versucht, die statistischen Daten der neuen Corona mit Python abzurufen und zu analysieren: Daten der Johns Hopkins University
Python-Übungsdatenanalyse Zusammenfassung des Lernens, dass ich ungefähr 10 mit 100 Schlägen getroffen habe
[Python Data Frame] Wenn der Wert leer ist, füllen Sie ihn mit dem Wert einer anderen Spalte.
Hier ist eine, ich werde die mit "künstlicher Intelligenz" ausgestatteten Anwendungen zusammenfassen, an denen ich interessiert war
[New Corona] Ist der nächste Höhepunkt im Dezember? Ich habe die Trendanalyse mit Python versucht!
[Python & SQLite] Ich habe den erwarteten Wert eines Rennens mit Pferden im 1x-Gewinnbereich ② analysiert
Ich dachte darüber nach, warum Python selbst mit dem Gefühl eines Python-Interpreters notwendig ist
Ein Memo, dass ich den Datenspeicher mit Python berührt habe
Ich habe versucht, die Entropie des Bildes mit Python zu finden
Versuchen Sie, COVID-19 Tokyo-Daten mit Python zu kratzen
Ich habe versucht, das Bild mit Python + OpenCV "gammakorrektur" zu machen
Ich habe die grundlegende Grammatik von Python in Jupyter Lab geschrieben
Ich habe die Strategie des Aktiensystemhandels mit Python evaluiert.
Die Geschichte eines Rubinisten, der mit Python :: Dict-Daten mit Pycall kämpft
[Homologie] Zählen Sie mit Python die Anzahl der Löcher in den Daten
[Python] Ich habe versucht, Daten mit der API von Wikipedia zu sammeln
Ich habe den Python-Datenanalysetest bestanden und die Punkte zusammengefasst
Ich möchte ausgeben, während der Wert des Typs (z. B. datetime) konvertiert wird, der bei der Ausgabe von json mit Python nicht unterstützt wird
Ich habe etwas mit Python gemacht, das sich JETZT LADEN auf dem Terminal von links nach rechts bewegt
Ich habe die Jumbo-Lotterie zum Jahresende mit Python gekauft und analysiert, die in Colaboratory ausgeführt werden kann
Der neueste NGINX ist ein Anwendungsserver! ?? Ich habe den Benchmark von NGINX Unit mit PHP, Python, Go! !!
Ich habe versucht, das Ranking des Qiita-Adventskalenders mit Python zu kratzen
Der 14. März ist der Tag des Umfangsverhältnisses. Die Geschichte der Berechnung des Umfangsverhältnisses mit Python
Ich möchte den Anfang des nächsten Monats mit Python ausgeben
Visualisieren Sie die Häufigkeit von Wortvorkommen in Sätzen mit Word Cloud. [Python]
[Super-Grundlagen von Python] Ich habe die Grundlagen der Grundlagen gelernt und sie daher kurz zusammengefasst.
Ich habe versucht, die Effizienz der täglichen Arbeit mit Python zu verbessern
Die Geschichte, ein Modul zu erstellen, das E-Mails mit Python überspringt
Da es der 20. Jahrestag der Gründung ist, habe ich versucht, die Texte von Parfüm mit Word Cloud zu visualisieren
Ich mochte den Tweet mit Python. ..
Ich habe die numerische Berechnung von Python durch Rust ersetzt und die Geschwindigkeit verglichen
Versuchen Sie, die Höhendaten des National Land Research Institute mit Python abzubilden
Ich habe versucht, den Authentifizierungscode der Qiita-API mit Python abzurufen.
Ich habe 0 Jahre Programmiererfahrung und fordere die Datenverarbeitung mit Python heraus
Ich habe GAN mit Keras gemacht, also habe ich ein Video des Lernprozesses gemacht.
Ich habe versucht, die Standardrolle neuer Mitarbeiter mit Python zu optimieren
Den Namen der Methode, die ihn aufgerufen hat, finden Sie in der Python-Methode
Ich habe versucht, die Filminformationen der TMDb-API mit Python abzurufen
[Einführung in Python] Wie wird mit der continue-Anweisung wiederholt?
Ich habe die Geschwindigkeit der Listeneinschlussnotation für und während mit Python2.7 gemessen.
[Python] Ich habe eine App erstellt, die automatisch die Audiodatei jedes Wortes herunterlädt, das für die Englisch-Lern-App verwendet wird.
Python> set> Mit set () konvertieren> Wörterbuch wird nur Schlüssel> Ich habe gelernt, wie man die Werte des Wörterbuchs in set / dir ({}) / help ({}) / help ({}) konvertiert .Werte)
Ich bin ein Amateur am 14. Tag von Python, aber ich möchte maschinelles Lernen mit Scicit-Learn ausprobieren