Je me suis mal compris sur le framework Luigi et j'ai tellement souffert que certaines personnes peuvent souffrir des mêmes problèmes, alors je vais l'écrire.
Sortie du fichier vers la cible spécifiée par `ʻoutput``
Exception dans la tâche
Par exemple, considérons le cas suivant.
Le processus de lecture d'une liste de 1000 lignes ou plus d'URL dans la liste prise par ʻinput`` et de prise de fichiers à partir de cette URL. Je pense que c'est un processus courant, mais il y a un piège ici. Je ne veux pas faire de traitement série pour télécharger 1000 fichiers, et je veux donner des paramètres à la tâche en fonction des données collectées par ʻinput``, donc [Dynamic dependency](http: //: Je pense qu'il sera écrit comme luigi.readthedocs.io/en/stable/tasks.html#dynamic-dependencies).
Si même l'une des 1000 tâches créées échoue, le traitement suivant ne sera pas exécuté.
Cependant, il est souvent possible qu'une ou deux tâches échouent en raison d'un dysfonctionnement du serveur WEB ou d'une erreur dans la description de l'URL, et c'est un problème si le traitement ultérieur est arrêté à cause de cela. ..
Dans ce cas, la conclusion est que la tâche de traitement suivante et la tâche qui génère la tâche ne doivent pas dépendre l'une de l'autre et que le traitement doit être écrit en dehors de luigi.
Recommended Posts