[PYTHON] Parallele Berechnung (Pathos) beim Umgang mit Objekten, die nicht eingelegt werden können

Überblick

Wir werden die Lösung vorstellen, wenn der folgende Fehler auftritt, wenn eine prozessparallele Berechnung mit "joblib" und "multiprocessing" durchgeführt wird. Die Ursache ist, dass das für die Kommunikation zwischen Prozessen verwendete Pickle nicht verwendet werden kann.

error1}

TypeError: cannot pickle 'SwigPyObject' object

error2}

PicklingError: Could not pickle the task to send it to the workers.

Lösungen

Verwenden Sie "Pathos". Es kann mit pip install pathos installiert werden.

code}

# some_func, some_Bitte erstellen Sie eine entsprechende Liste
from pathos.multiprocessing import ProcessingPool
pool = ProcessingPool(nodes=4)
result_list = pool.map(lambda x: some_func(x), some_list)

Bonus

Wenn es sich zum Zeitpunkt des Speicherns um Gurke handelt, kann es mit "Dill" gelöst werden.

Referenz

• https://pathos.readthedocs.io/en/latest/
• https://stackoverflow.com/questions/19984152/what-can-multiprocessing-and-dill-do-together
• http://nishidy.hatenablog.com/entry/2016/02/01/225750