Recevez une liste des résultats du traitement parallèle en Python avec starmap

introduction

--Parler du traitement parallèle de python, module multiprocessus --Utilisez la carte lorsque vous voulez le résultat dans une liste «Mais il semble que la carte ne puisse pas passer plusieurs arguments. ――Pour les expériences numériques telles que l'apprentissage automatique, j'expérimente souvent différents arguments, donc l'un est un peu. ..

Exemple de code

#!/usr/bin/env python3
from itertools import product
from multiprocessing import Pool

#Fonctions que vous souhaitez traiter en parallèle
def multi_test(arg1, arg2, arg3):
    return(arg1+arg2+arg3)

#Décidez du nombre de parallèles et préparez le pool
pool = Pool(3)

#Préparer des variantes d'argument avec une liste de tapples
multi_args = []
for iter1, iter2, iter3 in product(range(1,4), range(1,4), range(1,4)):    
    multi_args.append((iter1,iter2,iter3))
print(multi_args)    
[(1, 1, 1), (1, 1, 2), (1, 1, 3), (1, 2, 1), (1, 2, 2), (1, 2, 3), (1, 3, 1), (1, 3, 2), (1, 3, 3), (2, 1, 1), (2, 1, 2), (2, 1, 3), (2, 2, 1), (2, 2, 2), (2, 2, 3), (2, 3, 1), (2, 3, 2), (2, 3, 3), (3, 1, 1), (3, 1, 2), (3, 1, 3), (3, 2, 1), (3, 2, 2), (3, 2, 3), (3, 3, 1), (3, 3, 2), (3, 3, 3)]

#Exécution du traitement parallèle
results = pool.starmap(multi_test, multi_args)  
print(results)
[3, 4, 5, 4, 5, 6, 5, 6, 7, 4, 5, 6, 5, 6, 7, 6, 7, 8, 5, 6, 7, 6, 7, 8, 7, 8, 9]

en conclusion

«J'ai pu l'écrire simplement. Je viens de commencer à l'utiliser, alors dites-moi ce qui ne va pas.

référence

Recommended Posts

Recevez une liste des résultats du traitement parallèle en Python avec starmap
Comment obtenir une liste de fichiers dans le même répertoire avec python
Obtenez le nombre d'éléments spécifiques dans la liste python
Comment identifier l'élément avec le plus petit nombre de caractères dans une liste Python?
Afficher une liste d'alphabets en Python 3
L'histoire du traitement A du blackjack (python)
Une fonction qui mesure le temps de traitement d'une méthode en python
Obtenez une liste de fichiers dans un dossier avec python sans chemin
[Python] Récupérez les fichiers dans le dossier avec Python
Récupérer l'appelant d'une fonction en Python
Obtenez une liste des packages installés dans l'environnement actuel avec python
Afficher le résultat du traitement de la géométrie en Python
Générez une liste contenant le nombre de jours du mois en cours.
[Introduction à Python] Comment trier efficacement le contenu d'une liste avec le tri par liste
Sortie sous la forme d'un tableau python
Traitement parallèle sans signification profonde en Python
Comment passer le résultat de l'exécution d'une commande shell dans une liste en Python
traitement (python) Diagramme les coordonnées de la liste Spécifiez le nombre de fois dans draw ()
[python] Récupère la liste des classes définies dans le module
[Python] Affiche toutes les combinaisons d'éléments de la liste
Regrouper par éléments consécutifs d'une liste en Python
Un mémorandum sur la mise en œuvre des recommandations en Python
Traitement parallèle avec Parallel de scikit-learn
Comment vérifier en Python si l'un des éléments d'une liste est dans une autre liste
Comment compter le nombre d'occurrences de chaque élément de la liste en Python avec poids
Essayez de gratter les données COVID-19 Tokyo avec Python
Visualisez les résultats des arbres de décision réalisés avec Python scikit-learn
Calculez des millions de chiffres dans la racine carrée de 2 avec python
Obtenez une liste des livres électroniques DMM achetés avec Python + Selenium
[Note] Importation de fichiers dans le répertoire parent en Python
[Homologie] Comptez le nombre de trous dans les données avec Python
Comment obtenir la dernière (dernière) valeur d'une liste en Python
Comment obtenir une liste d'exceptions intégrées pour python
Trouver les valeurs propres d'une vraie matrice symétrique en Python
[Python] J'ai examiné une pratique qui peut être exécutée en parallèle avec le thread principal par traitement asynchrone (multiprocessing, asyncio)
[python] Gérer les fonctions dans une liste
[Python] Traitement parallèle facile avec Joblib
Obtenir la valeur d'une clé spécifique jusqu'à l'index spécifié de la liste de dictionnaires en Python
Lire des fichiers en parallèle avec Python
J'ai écrit un doctest dans "J'ai essayé de simuler la probabilité d'un jeu de bingo avec Python"
À propos de la liste de base des bases de Python
Comment passer le résultat de l'exécution d'une commande shell dans une liste en Python (version non bloquante)
Traitez le contenu du fichier dans l'ordre avec un script shell
Comment déterminer l'existence d'un élément sélénium en Python
Essayez d'obtenir la liste des fils du bulletin d'information (je n'aime pas) avec Python.
Comment vérifier la taille de la mémoire d'une variable en Python
Si vous donnez une liste avec l'argument par défaut de la fonction ...
Exportez le contenu de ~ .xlsx dans le dossier en HTML avec Python
Lire la sortie standard d'un sous-processus ligne par ligne en Python
J'ai essayé de créer une liste de nombres premiers avec python
L'histoire de la création d'un pilote standard pour db avec python.
Comment vérifier la taille de la mémoire d'un dictionnaire en Python
[python] Obtenez le rang des valeurs dans la liste par ordre croissant / décroissant
Lisez le fichier en Python avec un chemin relatif depuis le programme
Dockerfile avec les bibliothèques nécessaires pour le traitement du langage naturel avec python
L'idée d'alimenter le fichier de configuration avec un fichier python au lieu de yaml
Résolvez les problèmes de somme partielle avec une recherche complète en Python