Tweet-Analyse mit Python, Mecab und CaboCha

Einführung

Dieser Artikel ist der 22. Tagesartikel von Python Adventskalender 2014 - Qiita.

Letzte Woche habe ich einen Blog mit dem Titel BigQuery x Parfüm x Tweet-Analyse in den Adventskalender meines Unternehmens geschrieben. Dort habe ich versucht, die Tweets über Parfüm zu analysieren, die während einer Woche von 12/12 (Freitag) bis 12/18 (Donnerstag) gesammelt wurden, indem ich sie BigQuery gegeben habe.

Dieses Mal werde ich als Entwicklung eine Tweet-Analyse mit Verarbeitung natürlicher Sprache unter Verwendung von Mecab und CaboCha m (_ _) m durchführen

Referenziert

Deshalb schaue ich in den Tweets der Wahlen zum Repräsentantenhaus nach - Qiita https://github.com/mima3/stream_twitter

Anstatt zu referenzieren, wird das meiste, was ich tue, von mima_ita zum Verkauf angeboten ...

Umgebung

・ Mac OSX 10.9.5 ・ Python 2.7.8

Twitter Datenerfassung

Dieses Mal habe ich einen Dienst namens Erwähnung verwendet. Erwähnenswert ist, dass die auf dem Verwaltungsbildschirm festgelegten Schlüsselwörter problemlos Daten aus SNS abrufen können. Exportieren Sie die hier erfassten Daten vom Verwaltungsbildschirm nach csv, und Sie können loslegen.

Die diesmal angegebenen Bedingungen sind wie folgt.

Suchbegriff: Parfüm|| prfm || perfume_um (prfm und perfume_um sind Hash-Tags, die in Posts über Perfume verwendet werden.)

Ausschließende Schlüsselwörter: RT

Ziel SNS: Twitter Sprache: Japanisch

Zeitraum: 12/12 (Freitag) -12/18 (Donnerstag)

Installieren Sie Mecab und Cabocha

Mecab：http://salinger.github.io/blog/2013/01/17/1/ Cabocha：http://qiita.com/ShingoOikawa/items/ef4ac2929ec19599a3cf

Wenn Sie diesem Artikel folgen, gab es kein Problem (`・ ω ・ ´) ゞ

Code für Sammlung und Analyse

https://github.com/mima3/stream_twitter

Hier verwenden wir jedoch die Streaming-API, um Twitter-Daten zu sammeln und in der Datenbank zu speichern. Im Gegensatz dazu ist es diesmal erforderlich, das, was durch Erwähnung gesammelt und von csv ausgespuckt wurde, in der Datenbank zu speichern.

Speichern Sie es daher in SQLite mit der folgenden Quelle.

create_database.py

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sqlite3
import csv

if __name__ == '__main__':
    con = sqlite3.connect("twitter_stream.sqlite")

    c = con.cursor()
    # Create table
    c.execute('''CREATE TABLE "twitte" ("id" INTEGER NOT NULL PRIMARY KEY, "createAt" DATETIME NOT NULL, "idStr" VARCHAR(255) NOT NULL, "contents" VARCHAR(255) NOT NULL);
    ''')
    c.execute('''CREATE INDEX "twitte_createAt" ON "twitte" ("createAt");''')
    c.execute('''CREATE INDEX "twitte_idStr" ON "twitte" ("idStr")''')

    # Insert data
    i = 0
    data = []
    reader = csv.reader(open("./perfume_tweet.csv"))
    for row in reader:
        id = i+1
        createAt = row[4]
        idStr = unicode(row[0],'utf-8')
        contents = unicode(row[1],'utf-8')
        t = (id,createAt,idStr,contents)
        data.append(t)
        i += 1
    con.executemany(u"insert into twitte values(?,?,?,?)",data)

    # Save (commit) the changes
    con.commit()

    # We can also close the cursor if we are done with it
    con.close()

Sie haben erfolgreich twitter_stream.sqlite im aktuellen Verzeichnis erstellt.

Stündliches Histogramm

Hier werde ich am 17.12. (Mittwoch) abholen. Wir werden die Anzahl der Tweets pro Stunde am Tag zählen.

 python twitter_db_hist.py "2014/12/16 15:00" "2014/12/17 15:00" 3600

• Da die von Twitter erhältliche Zeit UTC ist, beträgt die Zeit in Japan 9 Stunden.

In diesem Zusammenhang kann Folgendes analysiert werden.

・ Die Zeitzone von 05:00 bis 06:00 ist die geringste. Von 02:00 bis 06:00 Uhr ist alles niedrig, also schlafen wahrscheinlich alle zu dieser Zeit. ・ Die häufigsten Stunden sind von 23:00 bis 24:00 Uhr. Die Anzahl der Tweets ist im Allgemeinen von 18:00 bis 24:00 Uhr hoch, am Ende des Tages jedoch von 23:00 bis 24:00 Uhr. Viele Menschen haben geschlafen, seit sie über Parfüm getwittert haben?

Das ist eine grobe Idee, aber man kann sie irgendwie verstehen.

Häufige Wortextraktion

Als nächstes werden wir eine morphologische Analyse mit Mecab durchführen. Hier werden wir die gesammelten Tweets für eine Woche sieben.

python twitter_db_mecab.py "2014/12/11 15:00" "2014/12/17 15:00" > mecab.txt

Unten finden Sie eine Liste der Top 100.

Die Top-Wörter sind im Bot-Tweet enthalten, daher handelt es sich nicht um aussagekräftige Daten. Als sensorischer Wert scheinen bei der Analyse von insgesamt 500 Tweets oder weniger aussagekräftige Wörter zu erscheinen.

Während dieser Datenerfassungsperiode gab es viele Tweets über die Veranstaltung "Maskierter Chauder ~ YAJIO CRAZY ~ Internationale Kollagenhochschule der Universität Chau", die am Samstag, dem 20. Dezember, stattfand. war.

Ereignisname im Zusammenhang: "Maskiert" "Chauder" Ticketinformationen im Zusammenhang mit: "Bid" "Yafuoku" "Price" "yauc" "Ticket" "Sheet" (Ich war mit Yauc nicht vertraut, aber es scheint ein Hash-Tag von Yahoo! zu sein.)

Danach konnte ich Folgendes grob analysieren.

Titel des Parfüm-Songs: "Cling" (Cling Cling) "Natural" "Love" (Verliebt in Natural) Sängerbezogen: "Arashi" "Momo" "Kuro" "Sakanaction" "Sekaowa" "Ringo" "Shiina" Parfüm Music Player im Zusammenhang mit: "Hören" "Musik" "Player" "mp"

• Perfume Music Player ist die offizielle App von Perfume für Smartphones. Über diese App können Sie das Lied, das Sie gerade hören, wie folgt twittern. "Ich höre Cling Cling für die 252.533. Person auf Perfume Music Player. #Prfm_mp http://perfume-app.com/"

Abhängigkeitsanalyse

Als Nächstes verwenden wir CaboCha, um die Abhängigkeitsbeziehungen von Klauseln zu aggregieren. Wieder analysieren wir die Tweets einer Woche.

python twitter_db_cabocha.py "2014/12/11 15:00" "2014/12/17 15:00" > cabocha.txt

Schauen wir uns die Top 100 genauso an.

Wiederum sind insgesamt 500 oder mehr Abhängigkeiten verrauschte Bots. Lassen Sie uns also durchgehen. Der Bot ist übrigens die folgenden zwei Tweets.

Parfüm Nocchi A-chan Während des Lebens ●● und Wut www http://t.co/4Q0fmhel2l Parfüm Ayano Omoto, auch bekannt als "Nocchi" Verheiratet mit einem allgemeinen Mann? http://t.co/k6cFhLZwnZ

Ich weiß nicht, wie ich die Abhängigkeitstabelle betrachten soll, deshalb greife ich nach den Namen der drei Mitglieder. Unter den abhängigen Phrasen sind diejenigen aufgeführt, die "A-chan", "Kashiyuka" und "Nocchi" enthalten. (* Extrahiere nur diejenigen mit sauber getrennten Phrasen)

Wie Sie sehen können, gab es in der Abhängigkeitsanalyse viele Dinge, die mit Kayuka zu tun hatten! Wenn man diese Abhängigkeit betrachtet, werden die Eigenschaften jeder der drei Personen offenbart, was wunderbar ist ...

Schließlich

Wie oben erwähnt, haben wir mit Hilfe von mima_ita die Tweets über Parfüm analysiert. Rückblickend ist es schade, dass wir eine große Menge von Bottweets gesammelt haben, die für die Analyse unter den Bedingungen, die wir dieses Mal durchgeführt haben, nicht erforderlich sind ...

Ich habe noch viele Datenanalyse- und Python-Kenntnisse, daher werde ich dieses Buch kaufen, um es nächste Woche zu veröffentlichen, und es studieren (`・ ω ・ ´) ゞ Einführung in die Programmierung in Python-Sprache: Weltstandard-MIT-Lehrbuch