[PYTHON] Ich habe versucht, eine Umgebung zu erstellen, in der Tweet-Daten in WSL (bash) erfasst, gespeichert und analysiert werden können.

Hintergrund

In der Windows-Umgebung haben wir eine Umgebung ** zum Erfassen, Speichern und Analysieren von Tweet-Daten erstellt und diese daher als Memorandum organisiert. Insbesondere in der ** Analyse wollte ich einfach Dateivorgänge ** ausführen (mit grep, sed, awk, python usw.), also [WSL (Windows-Subsystem für Linux)](https: // ja. Wikipedia.org/wiki/Windows_Subsystem_for_Linux) wurde aktiviert und ** bash (ubuntu) ** wurde eingeführt.

1. 1. Verfahrensübersicht

――Wir haben uns entschlossen, eine Reihe von Umgebungen ** auf WSL1-Bash ** zu realisieren.

Für WSL Installieren wir das Windows-Subsystem für Linux (WSL1)! wurde als Referenz eingeführt. ――Dieses Mal wollte ich MongoDB für Dateivorgänge verwenden, deshalb habe ich mit ** ubuntu 18.04 ** eine Bash erstellt, die eine Erfolgsgeschichte in der Verwendung von MongoDB auf WSL1 aufweist.

2. Detaillierte Vorgehensweise

Python verwandt

Python selbst wurde bei der Einführung von Ubuntu eingeführt, sodass es nicht erneut installiert werden muss.

** pip3 ** für die Paketinstallation eingeführt

sudo apt install python3-pip

Erlaube ** sqlite3 den Zugriff ** von Python

pip3 install pysqlite3

** unicodecsv ** kann verwendet werden

pip3 install unicodecsv

Tools für die MongoDB-Operation von Python: ** mongo_dao ** Einführung erhalten Sie von odicchi / tweet_learning
Zusätzlich wird ** pymongo ** benötigt und mit dem folgenden Befehl eingeführt

pip3 install pymongo

Einführung von ** tweepy **, das zum Bearbeiten von Tweet-Daten aus Python geeignet ist.

pip3 install tweepy

Darüber hinaus wurden ** OAuth-bezogene Pakete ** eingeführt, um auf einfache Weise authentifizierungsbezogene Vorgänge für den Betrieb der Twitter-API zu implementieren.

pip3 install requests requests_oauthlib

Datenspeicherung im Zusammenhang

-Für die Einführung von ** MongoDB ** siehe Verwenden einer Datenbank mit Windows-Subsystem für Linux. , Den folgenden Befehl ausgegeben und eingeführt. Verwenden Sie die Referenzpunkte zum Starten und Stoppen der Datenbank.

sudo apt-get install mongodb

-Einführung von ** sqlite3 **

sudo apt-get install sqlite3

3. 3. Andere

** Um von WSL aus auf das Windows-Dateisystem zuzugreifen **, habe ich auf [Dateiverbindung zwischen WSL und Windows] verwiesen (https://qiita.com/quzq/items/1096c638c0d86795be13). Wenn Sie beispielsweise auf das Laufwerk c zugreifen möchten, können Sie es anscheinend mit ** / mnt / c ** betreiben.

4. Beispielausführung

In der Konstruktionsumgebung veröffentlichen wir als Beispielausführung den Python-Code, der verwendet wird, wenn ** die Kontoinformationen (ID, Kontoname, Bildschirmname) **, denen eine bestimmte Person (ID) folgt, auf Twitter extrahiert werden. .. Für den Basisteil des Codes verwenden wir Personen auflisten, die auf tweepy gefolgt sind.

#!/usr/bin/python
import config
import tweepy

#Login-Einstellungen
twitter_conf = {
    'consumer' : {
        'key'    : config.CONSUMER_KEY,
        'secret' : config.CONSUMER_SECRET
    },
    'access'   : {
        'key'    : config.ACCESS_TOKEN,
        'secret' :config.ACCESS_TOKEN_SECRET
    }
}

#Authentifizierung
auth = tweepy.OAuthHandler(
    twitter_conf['consumer']['key'],
    twitter_conf['consumer']['secret'])
auth.set_access_token(
    twitter_conf['access']['key'],
    twitter_conf['access']['secret'])

#tweepy Initialisierung
api = tweepy.API(auth)
my_info = api.me()

friends_ids = []

id = 'XXXXXXX'　#Geben Sie die Ziel-ID an

#Holen Sie sich alle IDs der Personen, denen Sie folgen
#Wenn Sie Cursor verwenden, wird alles abgerufen. Da es sich jedoch nicht um ein Array handelt, fügen Sie es in ein Array ein
for friend_id in tweepy.Cursor(api.friends_ids, user_id=id).items():
    friends_ids.append(friend_id)

#Holen Sie sich Details für jeweils 100 IDs
for i in range(0, len(friends_ids), 100):
    for user in api.lookup_users(user_ids=friends_ids[i:i+100]):
    	print (str(user.id) + " : " + user.name + " : @" + user.screen_name)

Außerdem habe ich für Authentifizierungsinformationen eine Datei mit dem Namen ** config.py ** erstellt und bin ausgegangen.

CONSUMER_KEY = "XXXXXX"
CONSUMER_SECRET = "XXXXXX"
ACCESS_TOKEN = "XXXXXX"
ACCESS_TOKEN_SECRET = "XXXXXX"