Ich habe das Luigi-Framework missverstanden und so viel gelitten, dass einige Leute unter den gleichen Problemen leiden können, also werde ich es aufschreiben.
Dateiausgabe an das durch output angegebene Ziel
Ausnahmevorkommen in der Aufgabe
Betrachten Sie beispielsweise den folgenden Fall.
Der Vorgang des Lesens einer Liste mit etwa 1000 Zeilen URLs in der Liste, die von "Eingabe" erstellt wurde, und des Entnehmens von Dateien von dieser URL.
Ich denke, es ist ein üblicher Prozess, aber hier gibt es eine Falle.
Ich möchte keine serielle Verarbeitung durchführen, um 1000 Dateien herunterzuladen, und ich möchte der Aufgabe Parameter geben, die auf den von input gesammelten Daten basieren, also [Dynamische Abhängigkeit](http: //: Ich denke, es wird als luigi.readthedocs.io/en/stable/tasks.html#dynamic-dependencies geschrieben.
Wenn auch nur eine der 1000 erstellten Aufgaben fehlschlägt, wird die nachfolgende Verarbeitung nicht ausgeführt.
Es ist jedoch häufig möglich, dass eine oder zwei Aufgaben aufgrund einer Fehlfunktion des WEB-Servers oder eines Fehlers in der URL-Beschreibung fehlschlagen. Dies ist ein Problem, wenn die nachfolgende Verarbeitung aufgrund dessen gestoppt wird. ..
In diesem Fall ist die Schlussfolgerung, dass die nachfolgende Verarbeitungsaufgabe und die Aufgabe, die die Aufgabe generiert, nicht voneinander abhängig sein sollten und die Verarbeitung außerhalb von luigi geschrieben werden sollte.
Recommended Posts