Ich werde es oft benutzen, also werde ich es für Notizen hinterlassen.
joblib und pickle sind ** Bibliotheken, die verschiedene Daten auf nette Weise speichern können **. Es kann nicht nur für Text und CSV verwendet werden, sondern auch zum Speichern trainierter Modelle. Ich habe auch das Gefühl, dass das Lesen und Schreiben schnell ist. (Es scheint, dass Speicher ziemlich viel verwendet wird)
Grundsätzlich scheint es, dass die Verwendung von joblib in Bezug auf den Speicher besser ist als die Verwendung von pickle.
import pandas as pd
arr = ['a','b','c','d','e']
df = pd.DataFrame({'data':arr})
df.head(5)
# data
#0 a
#1 b
#2 c
#3 d
#4 e
import joblib
#Datenspeicher
joblib.dump(df,'test_jb.pkl', compress=3)
#Daten lesen
load_df = joblib.load('test_jb.pkl')
load_df.head()
# data
#0 a
#1 b
#2 c
#3 d
#4 e
import pandas as pd
#Datenspeicher
df.to_pickle('test_pk.pkl')
#Daten lesen
load_df2 = pd.read_pickle('test_pk.pkl')
load_df2.head()
# data
#0 a
#1 b
#2 c
#3 d
#4 e
Wenn Sie den Teil "Daten" in "Gelerntes Modell" ändern, können Sie das Modell so speichern, wie es ist.
Recommended Posts