[PYTHON] Sellerie

Was ist Sellerie?

Sellerie. Framework für die Verarbeitung von Python-Jobwarteschlangen. Lassen Sie den Worker-Daemon warten und erstellen Sie einen Mechanismus für die asynchrone Verarbeitung, oder starten Sie den Beat-Daemon, um einen geplanten Stapelprozess zu erstellen. Die Dokumentation ist gut gepflegt.

• Effizienter als RDB
• Backend verwendet Rabbitmq-Cluster oder Redis-Cluster. RDB kann verwendet, aber nicht verwendet werden Best Practice
• Es wird angenommen, dass die Jobflusskontrolle leicht zu ändern ist
• Starten Sie den Worker-Daemon. Sie können mehrere Einheiten auf einer Einheit starten. Sie können beginnen, indem Sie den Cluster verteilen.
• job Wenn sowohl die anfordernde als auch die empfangende Seite eine gemeinsame Bibliothek mit Python verwenden,

In Bezug auf den Verarbeitungsablauf ist es naheliegend zu glauben, dass ein Taskplaner an einen Verarbeitungsteil wie AWS Lambda oder IBM Bluemix OpenWhisk angehängt ist. Ich bin dankbar, dass ich mit der Verarbeitungsteilung fortfahren kann, ohne mir Gedanken über die API-Definition machen zu müssen.

worker

Wenn Sie einen asynchronen Job verwenden möchten, starten Sie den Worker-Daemon.

Ich starte den Daemon mit "Sellerie - Ein Projektarbeiter", aber es ist schwer zu verstehen, wie man "Projekt" spezifiziert!

Die groben Regeln sind so.

• Suchen Sie nach der Sellerie-Instanz, indem Sie den aktuellen Verzeichnis- und Modul-Suchpfad überprüfen.
• modname: varname muss eine Sellerie-Instanz sein, wenn die proj-Zeichenfolge ein: enthält
• Wenn proj.app kein Modul ist, muss es eine Sellerie-Instanz sein (hey)
• Wenn proj.celery kein Modul ist, muss es eine Sellerie-Instanz sein (hmm)
• Wenn proj.celery ein Modul ist
• Wenn proj.celery.app kein Modul ist, muss es eine Sellerie-Instanz sein (hey)
• Wenn proj.celery.celery kein Modul ist, muss es eine Sellerie-Instanz sein (hmm)
• Überprüfen Sie die Variable in proj.celery auf eine Unterklasseninstanz von Celery
• Suchen Sie in Variablen in proj nach Unterklasseninstanzen von Sellerie

Mit anderen Worten, um ein Beispiel zu geben ...

• In der Datei somename.py im aktuellen Verzeichnis Wenn die Sellerie-Instanzvariable x vorhanden ist
• Beginnen Sie mit "Sellerie - Ein Somename: x Arbeiter". Oder
• Sie können es auch mit Sellerie-A Somename Worker beginnen.
• In der Datei "somename / __ init __. Py" aus dem aktuellen Verzeichnis Wenn die Sellerie-Instanzvariable x vorhanden ist
• Beginnen Sie mit Sellerie - Ein Somename Worker: x. Oder
• Sie können es auch mit Sellerie-A Somename Worker beginnen.
• Aus dem aktuellen Verzeichnis ist "somename / __ init __. Py" vorhanden und Wenn die Sellerie-Instanzvariable x in der Datei "somename / celery.py" vorhanden ist
• Beginnen Sie mit Sellerie -A somename.celery: x Arbeiter. Oder
• Beginnen Sie mit Sellerie - Ein somename.celery Arbeiter. Oder
• Beginnen Sie mit "Sellerie - ein Somename Worker".
• Verwenden Sie from __future__ import absolute_import (Python 2)
• Aus dem aktuellen Verzeichnis ist "somename / __ init __. Py" vorhanden und Wenn die Sellerie-Instanzvariable x in der Datei somename / subname.py vorhanden ist
• Beginnen Sie mit Sellerie -A somename.subname: x worker. Oder
• Beginnen Sie mit Sellerie-A somename.subname worker.
• Wenn die Variable "app" im Modul "somename" im Modul-Suchpfad vorhanden ist, wird davon ausgegangen, dass es sich um eine Sellerie-Instanz handelt.
• Beginnen Sie mit Sellerie - Ein Somename: App Worker.
• Beginnen Sie mit "Sellerie - ein Somename Worker".
• Wenn die Sellerie-Instanzvariable x im Modul "somename" im Modul-Suchpfad vorhanden ist
• Beginnen Sie mit "Sellerie - Ein Somename: x Arbeiter".
• Beginnen Sie mit "Sellerie - ein Somename Worker".
• Wenn der Modul-Suchpfad "somename.celery" geladen werden kann und die Sellerie-Instanzvariable x darin vorhanden ist
• Beginnen Sie mit Sellerie -A somename.celery: x Arbeiter
• Beginnen Sie mit Sellerie - Ein somename.celery Arbeiter.
• Beginnen Sie mit "Sellerie - ein Somename Worker".
• Verwenden Sie from __future__ import absolute_import (Python 2)

Wenn Sie genau hinschauen, ändert sich das Erscheinungsbild der App je nach Muster geringfügig.

celery -A somename worker
...
- ** ---------- [config]
- ** ---------- .> app:         __main__:0x106a950

celery -A somename worker
...
- ** ---------- [config]
- ** ---------- .> app:         somename:0x1585410

Die verwirrende Ursache sind die Sonderregeln "proj.app" und "proj.celery".

Extrem verwirrende Fälle werden in Flask Documentation nicht erläutert. Flask erstellt im Allgemeinen eine "app" -Variable, die eine Flask-Instanz ist. Sellerie ist jedoch auch der Ansicht, dass es sich um eine Sellerie-Instanz handeln muss, wenn die Variable "app" gefunden wird, sodass eine Diskrepanz besteht.

Eine Problemumgehung wäre zum Beispiel:

• Ändern Sie den Variablennamen der Flask-Instanz in etwas anderes als "app"
• Geben Sie mit einer Zeichenfolge mit : Sellerie-A Ihre_Anwendung: Sellerie-Arbeiter an

beat

Wenn Sie einen geplanten Stapel erstellen möchten, starten Sie einen Beat-Daemon.

celery -A somename beat

Starten Sie es separat vom Worker-Daemon. Dies ist im Grunde nicht skaliert, daher müssen Sie bei der Verwendung vorsichtig sein.

Beachten Sie auch, dass Zeitplaneinstellungen nicht in das Programm eingebettet werden können und in der Grundeinstellungsdatei aufgeführt werden.

Apropos

Ich verstehe die Beziehung zwischen Jobwarteschlange und Sellerie nicht wirklich ... Ist das das Bild ...?

Nachtrag: Jetzt haben Sie die Möglichkeit, kafka + faust zu verwenden.