[PYTHON] Extrahieren Sie Twitter-Daten mit CSV

Found a good library "Tweepy (# https://github.com/tweepy/tweepy )"

Der Beispielcode ist jetzt mit Python3 kompatibel.

Step 1: Install Tweepy

pip install tweepy

Collecting tweepy
  Downloading tweepy-3.5.0-py2.py3-none-any.whl
Requirement already satisfied: requests-oauthlib>=0.4.1 in /Users/aws/Documents/Anaconda/anaconda/lib/python3.6/site-packages (from tweepy)
Requirement already satisfied: requests>=2.4.3 in /Users/aws/Documents/Anaconda/anaconda/lib/python3.6/site-packages (from tweepy)
Requirement already satisfied: six>=1.7.3 in /Users/aws/Documents/Anaconda/anaconda/lib/python3.6/site-packages (from tweepy)
Requirement already satisfied: oauthlib>=0.6.2 in /Users/aws/Documents/Anaconda/anaconda/lib/python3.6/site-packages (from requests-oauthlib>=0.4.1->tweepy)
Installing collected packages: tweepy
Successfully installed tweepy-3.5.0
# !/usr/bin/env python
# encoding: utf-8

import tweepy  
import csv

# Twitter API credentials
consumer_key = ""
consumer_secret = ""
access_key = ""
access_secret = ""


def get_all_tweets(screen_name):
    # Twitter only allows access to a users most recent 3240 tweets with this method

    # authorize twitter, initialize tweepy
    auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_key, access_secret)
    api = tweepy.API(auth)

    # initialize a list to hold all the tweepy Tweets
    alltweets = []

    # make initial request for most recent tweets (200 is the maximum allowed count)
    new_tweets = api.user_timeline(screen_name=screen_name, count=200)

    # save most recent tweets
    alltweets.extend(new_tweets)

    # save the id of the oldest tweet less one
    oldest = alltweets[-1].id - 1

    # keep grabbing tweets until there are no tweets left to grab
    while len(new_tweets) > 0:
        print("getting tweets before %s" % (oldest))

        # all subsiquent requests use the max_id param to prevent duplicates
        new_tweets = api.user_timeline(screen_name=screen_name, count=200, max_id=oldest)

        # save most recent tweets
        alltweets.extend(new_tweets)

        # update the id of the oldest tweet less one
        oldest = alltweets[-1].id - 1

        print("...%s tweets downloaded so far" % (len(alltweets)))

    # transform the tweepy tweets into a 2D array that will populate the csv
    outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8")] for tweet in alltweets]

    # write the csv
    with open('%s_tweets.csv' % screen_name, 'w') as f:
        writer = csv.writer(f)
        writer.writerow(["id", "created_at", "text"])
        writer.writerows(outtweets)

    pass


if __name__ == '__main__':
    get_all_tweets("twitter Username")

Referenz: https://gist.github.com/yanofsky/5436496

Recommended Posts

Extrahieren Sie Twitter-Daten mit CSV
CSV-Daten extrahieren und berechnen
Extrahieren Sie plötzliche beliebte Wörter mit der Twitter-Streaming-API
Erstellen von CSV-Beispieldaten mit Hypothese
Lesen Sie Python-CSV-Daten mit Pandas ⇒ Graph mit Matplotlib
CSV-Ausgabe von Impulsdaten mit Raspberry Pi (CSV-Ausgabe)
Schreiben Sie CSV-Daten mit AWS-Lambda + Python in AWS-S3
Extrahieren Sie mit Python Daten von einer Webseite
Daten aus S3 extrahieren
Twitter OAuth mit Django
Daten mit TensorFlow lesen
Datenvisualisierung mit Pandas
Datenmanipulation mit Pandas!
Daten mit Pandas mischen
Datenerweiterung mit openCV
Daten mit Scipy normieren
Datenanalyse mit Python
EXIF mit Schlucken extrahieren
LADEN SIE DATEN mit PyMysql
So extrahieren Sie mit Pandas Daten, denen der Wert nan nicht fehlt
Verarbeiten Sie CSV-Daten mit Python (Zählverarbeitung mit Pandas)
So extrahieren Sie mit Pandas Daten, denen der Wert nan nicht fehlt
Extrahieren nicht numerischer Elemente mit pandas.DataFrame
Mit Python erstellte Beispieldaten
Lesen Sie CSV mit Python-Pandas
Betten Sie Audiodaten in Jupyter ein
Zeichnen Sie Excel-Daten mit matplotlib (1)
Künstliche Datengenerierung mit Numpy
Twitter-Grafiknotiz mit Python
Holen Sie sich Twitter-Timeline mit Python
Verwenden Sie die Twitter-API mit Python
Hinweise zum Importieren von Daten aus MySQL oder CSV mit Python
Holen Sie sich Youtube-Daten mit Python
Lernen Sie neue Daten mit PaintsChainer
Binarisieren Sie Fotodaten mit OpenCV
Zeichnen Sie Excel-Daten mit matplotlib (2)
Versuchen Sie, die Datentabelle von Azure SQL Server mit pyodbc zu extrahieren
Verwenden Sie Django, um Tweet-Daten zu speichern
Zahlen mit regulären Ausdrücken extrahieren
Stilvolle Technik zum Einfügen von CSV-Daten in Excel mit Python
Schreiben Sie mit Python in csv
Unterstützen Sie sich mit der Twitter API
Suche nach Twitter-Tweets mit Python
Spitzenwert mit scipy extrahieren
Erfolgreiches update_with_media mit Twitter API
Laden Sie die CSV-Datei mit Python herunter
Datenverarbeitungstipps mit Pandas
Versuchen Sie, Merkmale von Sensordaten mit CNN zu extrahieren
Lesen von JSON-Daten mit Python
Twitter-Daten analysieren | Trendanalyse
Extrahieren Sie das Bigquery-Dataset und die Tabellenliste mit Python und geben Sie es in CSV aus
So extrahieren Sie Funktionen von Zeitreihendaten mit PySpark Basics
[Für Anfänger] Skript innerhalb von 10 Zeilen (3. Datenleser / CSV-Konvertierung)
[Python] Lesen Sie eine CSV-Datei mit großen Datenmengen mithilfe eines Generators
Datenbanktabellen mit CSV extrahieren [ODBC-Verbindung von R und Python]
Speichern und laden Sie Daten mit joblib, pickle