Je vais l'utiliser souvent, donc je vais le laisser pour les notes.
joblib et pickle sont des ** bibliothèques qui peuvent stocker diverses données de manière agréable **. Il peut être utilisé non seulement pour le texte et le csv, mais également pour enregistrer des modèles entraînés. De plus, je pense que la vitesse de lecture et d'écriture est rapide. (Il semble que la mémoire soit un peu utilisée)
En gros, il semble que l'utilisation de joblib soit meilleure en termes de mémoire que pickle.
import pandas as pd
arr = ['a','b','c','d','e']
df = pd.DataFrame({'data':arr})
df.head(5)
# data
#0 a
#1 b
#2 c
#3 d
#4 e
import joblib
#Stockage de données
joblib.dump(df,'test_jb.pkl', compress=3)
#Lire les données
load_df = joblib.load('test_jb.pkl')
load_df.head()
# data
#0 a
#1 b
#2 c
#3 d
#4 e
import pandas as pd
#Stockage de données
df.to_pickle('test_pk.pkl')
#Lire les données
load_df2 = pd.read_pickle('test_pk.pkl')
load_df2.head()
# data
#0 a
#1 b
#2 c
#3 d
#4 e
Si vous modifiez la partie "données" en "modèle appris", vous pouvez enregistrer le modèle tel quel.
Recommended Posts