[PYTHON] céleri

Qu'est-ce que le céleri

Céleri. cadre de traitement de la file d'attente de travaux python. Faites attendre le démon de travail pour créer un mécanisme de traitement de synchronisation ou démarrez le démon de battement pour créer un traitement par lots planifié. La documentation est bien entretenue.

• Plus efficace que RDB
• le backend utilise le cluster rabbitmq ou le cluster redis. RDB peut être utilisé mais pas utilisé bonnes pratiques
• On pense que le contrôle du flux de travail est facile à modifier
• Démarrez le démon de travail. Vous pouvez démarrer plusieurs unités sur une seule unité. Vous pouvez commencer par distribuer le cluster.
• job Si le côté demandeur et le côté récepteur utilisent une bibliothèque commune avec python,

En termes de flux de traitement, il est proche de penser qu'un planificateur de tâches est attaché à une partie de traitement comme AWS lambda ou IBM bluemix OpenWhisk. Je suis reconnaissant de pouvoir procéder à la division du traitement sans me soucier de la définition de l'API.

worker

Si vous souhaitez utiliser un travail asynchrone, démarrez le démon worker.

Je lance le démon avec celery -A proj worker, mais il est difficile de comprendre comment spécifier proj!

Les règles approximatives sont comme ça.

• Recherchez une instance de Celery en vérifiant le répertoire actuel et le chemin de recherche du module.
• modname: varname doit être une instance Celery s'il y a un: ʻ dans la chaîne proj`
• Si proj.app n'est pas un module, il doit s'agir d'une instance Celery (hé)
• Si proj.cellery n'est pas un module, il doit s'agir d'une instance Celery (hmm)
• Si proj.celry est un module
• Si proj.cellery.app n'est pas un module, il doit s'agir d'une instance Celery (hé)
• Si proj.celry.cellery n'est pas un module, il doit s'agir d'une instance Celery (hmm)
• Vérifiez la variable dans proj.cellery pour une instance de sous-classe de Celery
• Vérifier les instances de sous-classe de Celery dans les variables de proj

En d'autres termes, pour donner un exemple ...

• Dans le fichier somename.py dans le répertoire courant Si la variable d'instance Celery x existe
• Commencez par céleri -A somename: x worker. Ou
• Vous pouvez également le démarrer avec céleri -A somename worker.
• Dans le fichier somename / __ init __. Py vu depuis le répertoire courant Si la variable d'instance Celery x existe
• Commencez par céleri -Un ouvrier somename: x. Ou
• Vous pouvez également le démarrer avec céleri -A somename worker.
• Vu du répertoire courant, somename / __ init __. Py existe et Si la variable d'instance Celery x existe dans le fichier somename / celery.py
• Commencez par celery -A somename.cellery: x worker. Ou
• Commencez par `céleri -Un ouvrier de la joaillerie. Ou
• Commencez par céleri -Un ouvrier somename.
• Utilisez from __future__ import absolute_import (python 2)
• Vu du répertoire courant, somename / __ init __. Py existe et Si la variable d'instance Celery x existe dans le fichier somename / subname.py
• Commencez par céleri -A somename.subname: x worker. Ou
• Commencez par céleri -A somename.subname worker.
• Si la variable ʻapp existe dans le module somename` dans le chemin de recherche du module, supposez qu'il s'agit d'une instance Celery.
• Commencez par céleri -A somename: application worker.
• Commencez par céleri -Un ouvrier somename.
• Si la variable d'instance Celery x existe dans le module somename dans le chemin de recherche du module
• Commencez par céleri -A somename: x worker.
• Commencez par céleri -Un ouvrier somename.
• Si le chemin de recherche du module somename.cellery peut être chargé et que la variable d'instance Celery x y existe
• Commencez par céleri -A somename.cellery: x worker
• Commencez par céleri -Un ouvrier somename.corner.
• Commencez par céleri -Un ouvrier somename.
• Utilisez from __future__ import absolute_import (python 2)

Si vous regardez attentivement, l'apparence de l'application changera légèrement en fonction du modèle.

celery -A somename worker
...
- ** ---------- [config]
- ** ---------- .> app:         __main__:0x106a950

celery -A somename worker
...
- ** ---------- [config]
- ** ---------- .> app:         somename:0x1585410

La cause déroutante est les règles spéciales «proj.app» et «proj.cellery».

Les cas extrêmement déroutants ne sont pas expliqués dans Flask Documentation. Flask crée généralement une variable d'instance Flask ʻapp. Cependant, céleri pense aussi qu'il doit s'agir d'une instance Celery si une variable ʻapp est trouvée, donc il y a une divergence.

Une solution de contournement serait, par exemple:

• Changez le nom de la variable de l'instance Flask en quelque chose d'autre que ʻapp`
• Précisez avec une chaîne avec : céleri -A votre_application: céleri ouvrier

beat

Si vous souhaitez créer un lot planifié, démarrez un démon de battement.

celery -A somename beat

Démarrez-le séparément du démon de travail. Ce n'est fondamentalement pas mis à l'échelle, vous devez donc être prudent lorsque vous l'utilisez.

Notez également que les paramètres de planification ne peuvent pas être intégrés dans le programme et seront répertoriés dans le fichier des paramètres de base.

au fait

Je ne comprends pas vraiment la relation entre la file d'attente et le céleri ... Est-ce que c'est l'image ...?

Postscript: Vous avez maintenant l'option kafka + faust.