Speicherverlust im Python Jupyter Lab (Notebook)?
Umgebung
- Kaggle Docker Python v86
https://console.cloud.google.com/gcr/images/kaggle-images/GLOBAL/python
Phänomen
Ich verwende Jupyter Lab und nach dem Definieren einer Variablen geben del und gc.collect () den Speicher nicht frei.
Reproduktionsverfahren
Schreiben Sie den folgenden Code in eine Zelle und führen Sie ihn aus.
import numpy as np
import pandas as pd
import psutil
print(psutil.Process().memory_info().rss / 1024**2)
df = pd.DataFrame(np.arange(50000000).reshape(-1,5))
df.head()
Beachten Sie, dass es am Ende df.head () ist.
In der nächsten Zelle
print(psutil.Process().memory_info().rss / 1024**2)
del df
print(psutil.Process().memory_info().rss / 1024**2)
Der Speicherstatus wird nicht sofort angezeigt. Überprüfen Sie ihn daher für alle Fälle in der nächsten Zelle.
print(psutil.Process().memory_info().rss / 1024**2)
- Übrigens ist es auch dann dasselbe, wenn gc.collect () anschließend ausgeführt wird.
Ursache
Ich dachte, es sei ein Problem mit pandas.DataFrame, aber das ist es nicht. Wenn die Ausgabe von der Jupyter Lab-Funktion am Ende der "Zelle" angezeigt wird, wird sie anscheinend nicht freigegeben, selbst wenn Sie danach in einer anderen Zelle löschen.
Lösung
Nicht df.head () am Ende der Zelle. Drucken Sie, wenn Sie es anzeigen möchten.
Kommentar
――Es ist ein Teil / Verhalten, bei dem Sie sich unwohl fühlen, aber es ist etwas, bei dem Sie vorsichtig sind, wenn Sie richtig mit Jupyter anfangen (ich weiß nicht).
- Ich konnte es zur Hand untersuchen und bestätigen, aber der Grund, warum es nicht gc unterliegt, ist, ob die Referenz in der Bildschirmanzeigefunktion von jupyter oder so etwas erhalten bleibt. IPython scheint die Ursache zu sein. Wenn der Suchbegriff Jupyter-Speicherverlust ist, wird https://github.com/jupyter/notebook/issues/3713 angezeigt, und es scheint eine Erklärung zu geben (nicht gesehen).
- Wenn der Suchbegriff Pandas Memory Leak ist, wird https://stackoverflow.com/questions/14224068/memory-leak-using-pandas-dataframe usw. angezeigt und Sie gehen weiterhin verloren (gehen verloren).
Recommended Posts