[Python] So führen Sie Jupyter-Notebook + Pandas + Multiprocessing (Pool) [Pandas] Memo aus
Zweck
- Ich musste viele Daten laden, um viele CSV-Daten zu analysieren
- Das Drehen der Schleife war zu langsam und frustrierend.
Problem
- Jupyter-Notebook kann read_csv von Pandas nicht mithilfe von Multiprocessing (Pool) parallelisieren.
- Konohen oder [Konohen](https://github.com/ Das gleiche wurde in ipython / ipython / issue / 10894) geschrieben.
- Ist es ein Problem, das nur auf Windows-Computern auftritt?
Fazit
- Die Problemumgehung besteht darin, die Funktion als
func.pyzu speichern und mit Jupyter-Notebook zu importieren.
NG Beispiel
- Die letzte Zelle endet nicht. (Beginnt es nicht überhaupt?)
OK Beispiel
- Kopieren Sie das Ganze als
func.pyin den gleichen Ordner wie.ipynb - Platzieren Sie die Datei
__init __. Py - Importieren Sie die Funktion und führen Sie sie auf dem Jupyter-Notebook aus
func.py
import pandas as pd
import os,glob
from datetime import datetime as dt
from multiprocessing import Pool
FOLDER_PATH = r'folder_path\\'
FILE_TYPE = r'*.csv'
FILE_FORMAT = 'Report_%Y%m%d.csv'
def read_report_to_dataframe():
#Dateipfade auflisten
csv_pathlist = glob.glob(FOLDER_PATH + FILE_TYPE)
with Pool(os.cpu_count()) as p:
df = pd.concat(p.map(read_report, csv_pathlist))
return df
#Bericht gelesen
def read_report(csv_path):
separator_list = [';',',']
for sep in separator_list:
df = pd.read_csv(filepath_or_buffer=csv_path,
engine='python',
parse_dates=[0],
index_col=[0],
skiprows=[1],
nrows=96,
sep=sep)
#Überprüfen Sie, ob der Datenrahmen leer ist
if not df.empty:
break
return df
- Lesen und Ausführen mit Jupyter-Notebook.
jupyter-notebook
import func
func.read_report_to_dataframe()
Zusammenfassung
- Stoppen Sie das Jupyter-Notebook und machen Sie es mit Pycharm.
Recommended Posts