[PYTHON] J'ai eu une erreur lorsque j'ai essayé de traiter luigi en parallèle dans Windows, mais la solution

Qu'est-ce que Luigi

Lors de la conversion de diverses données, par exemple, si le processus de conversion A dépend du processus de conversion B et le processus de conversion B dépend du processus de conversion C, la dépendance est vérifiée et le traitement est exécuté dans l'ordre du processus de conversion C. Une bibliothèque utile. Il est efficace pour traiter une erreur qui se produit au milieu d'une série de processus et sauter la partie déjà exécutée lors de la réexécution. La partie qui n'a pas de dépendance sera traitée en parallèle.

Pour plus d'informations, consultez Construction d'un pipeline de données avec Python et Luigi.

Qu'est-ce qui cause une erreur

Si le nombre de parallèles est de 2 ou plus

python


PicklingError: Can't pickle <function update_tracking_url at 0x0000000001E100B8>: it's not found as luigi.worker.update_tracking_url

Ce sera une erreur comme celle-ci. Il semble que la compatibilité entre le multitraitement et le pickle ne soit mauvaise que pour Windows. Je ne suis pas sûr.

Solution

Réduisez la version luigi à 1.2.1. Si vous ne spécifiez pas de version dans pip, la dernière version 2.3.0 sera incluse, mais c'est un piège.

Post-scriptum (2016/8/27) La version fournie par conda a été mise à jour vers 2.3.0. De plus, il semble qu'il n'y ait que cette version pour Windows, il semble donc qu'il n'y ait pas d'autre choix que de l'installer avec pip.

~~ Dans le cas de l'anaconda ~~ ~~conda install luigi~~

Pour pip

python


pip install luigi==1.2.1

Contiendra la version 1.2.1.

Cela l'a résolu dans mon environnement. Cependant, dans Pickle crash en essayant de pickle "update_tracking_url" dans luigi.worker?, la personne qui a dit que passer à la version 2.0.1 a résolu le problème. Il y en a aussi, vous devrez peut-être essayer quelle version est la meilleure.

Ajout de la différence entre les versions 1 et 2 (27/08/2016)

Si vous souhaitez modifier votre package, il est disponible jusqu'à la version 2.1.1. Voir Pickle crash en essayant de pickle "update_tracking_url" dans luigi.worker? pour les modifications.

La version 2 semble être fondamentalement plus sophistiquée. En particulier,

Etc.

finalement

mario est allé aux Jeux olympiques, mais je suis désolé, luigi.

Recommended Posts

J'ai eu une erreur lorsque j'ai essayé de traiter luigi en parallèle dans Windows, mais la solution
Quand j'obtiens une erreur avec Pylint sur Windows Atom
J'ai eu une erreur en essayant d'installer Xgboost et sa solution
J'ai eu une erreur en essayant d'exécuter Hello World en langue Go
Quand j'ai essayé d'utiliser Python sur WSL (sous-système Windows pour Linux), il est resté bloqué dans Jupyter (résolu)
J'ai essayé de changer le script python de 2.7.11 à 3.6.0 sur Windows10
J'ai eu un AttributeError en me moquant de la méthode ouverte en python
# Solution lorsque l'installation de pip donne une erreur lors de l'utilisation d'Anaconda sur Windows 10
J'ai essayé de traiter l'image en "style croquis" avec OpenCV
J'ai essayé de traiter l'image dans un "style de dessin au crayon" avec OpenCV
J'ai eu une erreur SSL lorsque j'ai installé Anaconda dans un nouvel environnement, donc je l'ai résolu (Windows10, Anaconda3-2019.10)
[Python] J'ai essayé de résumer le type collectif (ensemble) d'une manière facile à comprendre.
J'ai essayé d'installer Docker sur Windows10 Home mais cela n'a pas fonctionné
J'ai eu une erreur lors de l'enregistrement avec OpenCV
Dans le tutoriel Chainer, j'obtiens une erreur lors de l'importation d'un package. (moquer)
Je souhaite utiliser Python dans l'environnement de pyenv + pipenv sous Windows 10
Je suis tombé sur un code de caractère lors de la conversion de CSV en JSON avec Python
J'ai eu une erreur lorsque j'ai mis opencv dans python3 avec Raspeye [Remedy]
J'ai essayé d'utiliser Resultoon sur Mac + AVT-C875, mais j'étais frustré en chemin.
[Je suis un débutant en informatique] J'ai fait de mon mieux pour implémenter Linux sur Windows
django geodjango auquel j'ai fait référence quand je suis resté coincé dans le tutoriel (édition)
J'ai essayé de représenter graphiquement les packages installés en Python
Quand j'ai essayé d'introduire python3 dans atom, je suis resté coincé
J'ai essayé de créer un environnement avec WSL + Ubuntu + VS Code dans un environnement Windows
J'obtiens une erreur lorsque je mets opencv dans pyautoGUI
Lorsque j'essaye d'importer des pandas sur macOS, j'obtiens l'erreur No module named'_bz2 '
sphinx-quickstart est devenu un problème et j'ai essayé de créer une commande alternative et le stress a disparu
J'ai eu une erreur lorsque j'installe des pandas sur Mac, alors je l'ai traitée
J'ai eu une erreur lors de l'utilisation de Tensorboard avec Pytorch
Forcer luigi à effectuer un traitement parallèle dans l'environnement Windows
J'obtiens une erreur lorsque j'essaie d'élever Python à la série 3 en utilisant pyenv dans Catalina
J'ai eu une erreur lorsque j'ai installé tweepy sur macOS Sierra, alors je l'ai résolue.
[Deep Learning from scratch] J'ai essayé d'expliquer la confirmation du gradient d'une manière facile à comprendre.
Lorsque j'ai installé python sur macOS et que je l'ai utilisé, j'ai eu une erreur lorsque j'ai mis une connexion https
J'ai essayé l'algorithme de super résolution "PULSE" dans un environnement Windows
J'ai essayé d'exécuter PIFuHD sur Windows pour le moment
J'ai eu une erreur dans vim ou zsh dans la série Python 3.7
J'obtiens [Erreur 2055] en essayant de me connecter à MySQL avec Heroku
J'ai essayé de résumer le code souvent utilisé dans Pandas
J'ai essayé d'illustrer le temps et le temps du langage C
J'ai essayé de résumer les commandes souvent utilisées en entreprise
J'ai essayé d'implémenter la fonction d'envoi de courrier en Python
J'ai essayé de lancer le cluster ipython au minimum sur AWS
J'ai essayé de créer un article dans Wiki.js avec SQL Alchemy
J'ai construit un environnement de l'installation de centos à l'extension de source php sur Linux, mais que faire en cas d'erreur de navigateur
[Ajout] git est vulnérable! Je dois mettre à jour! Mais yum n'a pas la dernière version, et je l'ai obtenue à la source! Quand les notes
Une histoire qui n'a pas fonctionné lorsque j'ai essayé de me connecter avec le module de requêtes Python
À propos de l'erreur que j'ai rencontrée en essayant d'utiliser Adafruit_DHT à partir de Python sur Raspberry Pi
J'ai essayé de créer un environnement serveur qui fonctionne sous Windows 10
Comment émettre intentionnellement une erreur dans le shell pendant les tests
J'ai essayé de créer un environnement de MkDocs sur Amazon Linux
J'ai essayé de décrire le trafic en temps réel avec WebSocket
Le record auquel j'étais accro en mettant MeCab dans Heroku
Résolution d'une erreur lors de la mise en place de pygame dans python3 sur raspberry pi
[Linux] Je souhaite connaître la date à laquelle l'utilisateur s'est connecté
J'ai eu une erreur lorsque j'ai exécuté composer global require laravel / installer
J'obtiens une erreur en essayant d'installer maec 4.0.1.0 avec pip
J'ai essayé de numériser le tampon estampé sur papier en utilisant OpenCV