Analyse des tweets avec Python, Mecab et CaboCha

introduction

Cet article est l'article du 22ème jour du Calendrier de l'Avent Python 2014 - Qiita.

La semaine dernière, j'ai écrit un blog intitulé BigQuery x Perfume x tweet analysis sur le calendrier de l'Avent de mon entreprise. Là, j'ai essayé d'analyser les tweets sur Parfum collectés pendant une semaine du 12/12 (vendredi) au 12/18 (jeudi) en les donnant à BigQuery.

Cette fois, en tant que développement, je vais faire une analyse de tweet avec le traitement du langage naturel en utilisant Mecab et CaboCha m (_ _) m

Référencé

C'est pourquoi je regarde les tweets de l'élection de la Chambre des représentants - Qiita https://github.com/mima3/stream_twitter

Plutôt que de faire référence, la plupart de ce que je fais est en vente par mima_ita ...

environnement

・ Mac OSX 10.9.5 ・ Python 2.7.8

Collecte de données Twitter

Cette fois, j'ai utilisé un service appelé mention. En mention, les mots-clés définis sur l'écran de gestion peuvent facilement extraire des données de SNS. Exportez les données acquises ici vers csv à partir de l'écran de gestion, et vous êtes prêt à partir.

Les conditions spécifiées cette fois sont les suivantes.

Mot clé de recherche: Parfum|| prfm || perfume_um (prfm et perfume_um sont des balises de hachage utilisées dans les articles sur le parfum)

Mots clés à exclure: RT

SNS cible: Twitter Langue: japonais

Période: 12/12 (vendredi) -12/18 (jeudi)

Installez Mecab et Cabocha

Mecab：http://salinger.github.io/blog/2013/01/17/1/ Cabocha：http://qiita.com/ShingoOikawa/items/ef4ac2929ec19599a3cf

Si vous suivez cet article, il n'y a pas eu de problème (`・ ω ・ ´) ゞ

Code utilisé pour la collecte et l'analyse

https://github.com/mima3/stream_twitter

Cependant, ici, nous utilisons l'API Streaming pour collecter des données Twitter et les stocker dans la base de données. Cette fois, contrairement à cela, il est nécessaire de stocker ce qui a été collecté par mention et craché par csv dans la base de données.

Alors, veuillez le stocker dans SQLite avec la source suivante.

create_database.py

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sqlite3
import csv

if __name__ == '__main__':
    con = sqlite3.connect("twitter_stream.sqlite")

    c = con.cursor()
    # Create table
    c.execute('''CREATE TABLE "twitte" ("id" INTEGER NOT NULL PRIMARY KEY, "createAt" DATETIME NOT NULL, "idStr" VARCHAR(255) NOT NULL, "contents" VARCHAR(255) NOT NULL);
    ''')
    c.execute('''CREATE INDEX "twitte_createAt" ON "twitte" ("createAt");''')
    c.execute('''CREATE INDEX "twitte_idStr" ON "twitte" ("idStr")''')

    # Insert data
    i = 0
    data = []
    reader = csv.reader(open("./perfume_tweet.csv"))
    for row in reader:
        id = i+1
        createAt = row[4]
        idStr = unicode(row[0],'utf-8')
        contents = unicode(row[1],'utf-8')
        t = (id,createAt,idStr,contents)
        data.append(t)
        i += 1
    con.executemany(u"insert into twitte values(?,?,?,?)",data)

    # Save (commit) the changes
    con.commit()

    # We can also close the cursor if we are done with it
    con.close()

Vous avez créé avec succès twitter_stream.sqlite dans le répertoire actuel.

Histogramme horaire

Ici, je vais reprendre le 17/12 (mercredi). Nous compterons le nombre de tweets par heure dans la journée.

 python twitter_db_hist.py "2014/12/16 15:00" "2014/12/17 15:00" 3600

• Étant donné que l'heure qui peut être obtenue sur Twitter est UTC, il est de 9 heures au Japon.

En regardant cela, ce qui suit peut être analysé.

・ Le fuseau horaire de 05h00 à 06h00 est le plus petit. Tout est bas de 02h00 à 06h00, donc tout le monde dort probablement en ce moment. ・ Les heures les plus fréquentes sont de 23h00 à minuit. Le nombre de tweets est généralement élevé de 18h00 à 24h00, mais le plus élevé est de 23h00 à 24h00 en fin de journée. Beaucoup de gens dorment depuis qu'ils ont tweeté sur Parfum?

C'est une idée approximative, mais vous pouvez la comprendre d'une manière ou d'une autre.

Extraction de mots fréquente

Ensuite, nous effectuerons une analyse morphologique à l'aide de Mecab. Ici, nous passerons au crible les tweets collectés pendant une semaine.

python twitter_db_mecab.py "2014/12/11 15:00" "2014/12/17 15:00" > mecab.txt

Vous trouverez ci-dessous une liste des 100 meilleurs.

Les principaux mots sont inclus dans le tweet du Bot, il ne s'agit donc pas de données significatives. En tant que valeur sensorielle, il semble que des mots significatifs apparaissent lors de l'analyse d'un total de 500 tweets ou moins.

Au cours de cette période de collecte de données, il y a eu de nombreux tweets sur l'événement "Masked Chauder ~ YAJIO CRAZY ~ Chau University University International Collagen High School" qui s'est tenu le samedi 20 décembre. était.

Nom de l'événement lié: "Masked" "Chauder" Informations sur les billets liées: «Offre» «Yafuoku» «Prix» «yauc» «Ticket» «Fiche» (Je n'étais pas familier avec yauc, mais cela semble être une balise de hachage de Yahoo!)

Après cela, j'ai pu analyser en gros ce qui suit.

Titre de la chanson du parfum lié: "Cling" (Cling Cling) "Natural" "Love" (In love with Natural) En relation avec le chanteur: "Arashi" "Momo" "Kuro" "Sakanaction" "Sekaowa" "Ringo" "Shiina" Lié au lecteur de musique de parfum: "Écouter" "Musique" "Lecteur" "mp"

• Perfume Music Player est l'application officielle de Perfume pour les smartphones. À partir de cette application, vous pouvez tweeter la chanson que vous écoutez actuellement comme suit. "J'écoute Cling Cling pour la 252 533e personne sur Perfume Music Player. #Prfm_mp http://perfume-app.com/"

Analyse des dépendances

Ensuite, utilisons CaboCha pour agréger les relations de dépendance des clauses. Encore une fois, nous analysons une semaine de tweets.

python twitter_db_cabocha.py "2014/12/11 15:00" "2014/12/17 15:00" > cabocha.txt

Regardons le top 100 de la même manière.

Encore une fois, un total de 500 dépendances ou plus sont des bots bruyants, alors passons en revue. À propos, le Bot est les deux tweets suivants.

Nocchi A-chan du parfum Pendant le live ●● et la rage www http://t.co/4Q0fmhel2l Parfum Ayano Omoto, également connu sous le nom de "Nocchi" Mariée à un homme général? http://t.co/k6cFhLZwnZ

Je ne sais pas comment regarder la table des dépendances, donc je grep avec les noms des trois membres. Parmi les expressions dépendantes, celles qui incluent "A-chan", "Kashiyuka" et "Nocchi" sont indiquées ci-dessous. (* Extraire uniquement ceux avec des phrases bien séparées)

Comme vous pouvez le voir, il y avait beaucoup de choses liées à Kayuka dans l'analyse des dépendances! En regardant cette dépendance, les caractéristiques de chacune des trois personnes se révèlent, ce qui est merveilleux ...

finalement

Comme mentionné ci-dessus, avec l'aide de mima_ita, nous avons analysé les tweets sur le parfum. Avec le recul, c'est dommage que nous ayons collecté une grande quantité de bottweets qui ne sont pas nécessaires pour l'analyse dans les conditions que nous avons effectuées cette fois ...

J'ai encore beaucoup de compétences en analyse de données et en Python, donc je vais acheter ce livre qui sortira la semaine prochaine et l'étudierai (`・ ω ・ ´) ゞ Introduction à la programmation en langage Python: manuel du MIT standard mondial