[PYTHON] Expérimentez pour collecter des tweets pendant une longue période (juste avant l'exécution)

Jusqu'à la dernière fois

Avant la préparation finale de l'exécution

Il y a beaucoup d'histoires déraisonnables ces jours-ci.

«L'histoire de la vente de Twitter a échoué et elle va dans une direction déraisonnable. ――Tweepy que j'ai commencé à utiliser parce que "tout le monde l'utilise" Il a été annoncé que la maintenance était terminée
(On dirait qu'il a été repris après ça)

Ce dernier est inquiet, même si quelque chose ne va pas. ** Je ne pense pas que Twitter le gardera jusqu'à la fin de l'année **, mais je me demande s'il vaut mieux y penser à l'avenir, mais je ne suis pas doué pour déplacer les berges.

Traiter les bogues de la bibliothèque

Cela a été signalé dans "Préparation du programme (2)" Je dois le corriger dans l'environnement d'exécution. Je vais corriger le bug Stream de Tweepy que je pensais.

# python
Python 3.5.2 (default, Sep 24 2016, 05:23:05)
[GCC 4.9.2] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tweepy
>>> tweepy.__file__
'/usr/local/lib/python3.5/site-packages/tweepy/__init__.py'
>>>

Vous avez maintenant le chemin d'installation tweepy. Après cela, corrigez le fichier (streaming.py) comme ce dossier partagé . Écraser la copie. La mission est terminée.

Correction de bogue, encore une fois.

** Cependant, l'histoire selon laquelle cette réponse n'est pas suffisante ** est apparue juste avant l'événement. J'ai remarqué qu'une erreur d'exception s'est produite lorsque je l'envoyais dans la vérification de bogue après la correction ci-dessus, j'ai donc vérifié le problème sur github et Découvert.

Faites une correction comme celle-ci et copiez à nouveau. Cette fois, la mission est terminée.

Faire face à la possibilité de tomber encore

L'erreur d'exception ci-dessus a été piégée dans le programme et immédiatement reconnectée à Twitter, mais étant donné que je ne sais pas ce qui se passerait d'autre, ** le programme tomberait sans avertissement **. Je dois réfléchir à la façon de gérer. Heureusement, je vais utiliser rechercher et trouver ceci . Je n'ai pas d'autre choix que d'exprimer ma gratitude pour l'atterrissage à cinq corps. Après l'exécution, si vous essayez de tuer le processus, il sera redémarré automatiquement. Quelle commodité.

Eh bien, je pense que même si vous le faites jusqu'à présent, il tombera quand il tombera, mais même s'il n'est pas décuplé ou vingt fois, "Action initiale facile avec notification d'erreur" "Ignorer les exceptions et se reconnecter automatiquement" S'il y a trois «redémarrage avec surveillance du processus», trois mois seront gérables. ** Sauf si vous mettez à jour le NAS par inadvertance ou mettez à jour les paramètres du routeur. ** **

Commencez l'exécution!

Pour le moment, tout est prêt. Peut-être. Le travail s'est enflammé en cours de route et j'ai été retardé, mais j'ai pu terminer tous les tests juste avant, alors disons que ça va.

C'est pourquoi, deux jours avant l'annonce gagnante (mot caché) </ sub>, nous avons abandonné les données de test le 27 octobre et avons commencé les opérations. Pour le moment, j'ai pu l'obtenir sans aucun problème même pendant la ruée vers l'annonce gagnante (langage caché) </ sub>. Succès ... comme? Pour le moment, examinons la situation pendant environ une semaine.

Programmer après cela

Pour le moment, j'aimerais pouvoir compter le nombre de tweets en fonction du temps. Si possible, je souhaite éviter que l'environnement d'exécution ne soit affecté, mais que dois-je faire?

(Toujours en cours.)

Recommended Posts

Expérimentez pour collecter des tweets pendant une longue période (juste avant l'exécution)
Expérience de collecte de tweets pendant une longue période (préparation du programme (3))
Expérience pour collecter des tweets pendant une longue période (préparation du programme (1))
Expérience pour collecter des tweets pendant une longue période (préparation du programme (2))
Expérience pour collecter des tweets pendant une longue période (préparation du programme (5))
Expérimentez pour collecter des tweets pendant une longue période (agrégation et confirmation du contenu)
Une méthode d'étude pour les débutants pour apprendre l'analyse des séries chronologiques
Je veux créer un Dockerfile pour le moment.
Je souhaite enregistrer l'heure d'exécution et conserver un journal.
[Python3] Définition d'un décorateur qui mesure le temps d'exécution d'une fonction
Python (de la première fois à l'exécution)