[PYTHON] Holen Sie sich viele Twitter-Tweets auf einmal

Einführung

Es wird davon ausgegangen, dass Sie die Twitter-API verwenden können (sorry) Dieser Artikel richtet sich an Personen, die mithilfe von Tweets verschiedene Aufgaben ausführen möchten, jedoch Probleme beim Sammeln von Daten haben.

Zweck

Wenn Sie versuchen, Tweets normalerweise mit der API-Suche von Twitter zu durchsuchen, können Sie nur die Top 100 erhalten. Indem Sie jedoch die jedem Tweet zugewiesene ID verfolgen, können Sie Tweets bis zur letzten Woche abrufen. Das folgende ist das Suchprogramm.

tweet_search.py

# -*- coding:utf-8 -*-
import tweepy

def search_tweet(api):
    print('Ausgabe der neuesten Tweets')
    print('Suchseite: 1')
    tweet_data = api.search(q=' ', count=100)
    for tweet in tweet_data:
            print(tweet.text)
            print('************************************************\n')
    next_max_id = tweet_data[-1].id
    for i in range(2, 11):
        print('Suchseite:' + str(i))
        tweet_data = api.search(q=' ', count=100, max_id=next_max_id-1)
        next_max_id = tweet_data[-1].id
        for tweet in tweet_data:
            print(tweet.text)
            print('************************************************\n')

if '__name__' == '__main__':
    consumer_key = "XXXXXXXXXXXXXXXXXXXXXXX"
    consumer_secret = "XXXXXXXXXXXXXXXXXXXXXXXX"
    access_token = "XXXXXXXXXXXXXXXXXXXXXXXXXXXX"
    access_token_secret = "XXXXXXXXXXXXXXXXXXXXXXXXXX"
    auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_token, access_token_secret)
    api = tweepy.API(auth)
    search_tweet(api)

Um den Mechanismus kurz zu erklären ・ Die Tweet-ID (alle Nummern) wird immer allen Tweets zugewiesen. -Die ID ist größer für den neuesten Tweet (wenn beispielsweise die ID des neuesten Tweets 7000 ist, ist die ID des vorherigen Tweets 6999). ・ Die normale API-Suche geht in der Reihenfolge der neuesten Tweets auf die vergangenen Tweets zurück.

• Und die API-Suche hat ein Argument namens max_id. Wenn Sie diese ID angeben, können Sie nur nach Tweets suchen, die unter diesem Wert liegen.

Durch die Verwendung dieser vier Punkte wird der Prozess des "Suchens nach Tweet-IDs von 7.000 oder weniger" möglich.

Mit anderen Worten

1. Holen Sie sich 100 Tweets
2. Speichern Sie die 100. ID
3. Suchen Sie anhand der ID unter dem Wert (kehren Sie zu 1 zurück).

Wenn Sie dies wiederholen, können Sie unbegrenzt an Tweets vorbeikommen! Ich würde gerne sagen, aber leider kann die API nur innerhalb einer Woche Tweets erhalten, so dass es nicht unendlich ist. Die Anzahl der Tweets, die gesammelt werden können, ist jedoch überwiegend größer als bei der normalen Verwendung der API-Suche.

das ist alles.