Cette fois, j'ai à nouveau sauvegardé les grandes données d'image au format h5. Dans h5py, vous pouvez compresser des variables avec gzip en écrivant comme suit.
x = cv2.imread("Grande image 1.png ")
y = cv2.imread("Grande image 2.png ")
with h5py.File("out.h5", "w") as f:
f.create_dataset("data1", data=X, compression="gzip", compression_level=4)
f.create_dataset("data2", data=y, compression="gzip", compression_level=4)
Je ne suis pas sûr de l'heure car ce n'est pas la moyenne des résultats que j'ai fait plusieurs fois.
| Niveau de compression | Taille du fichier de sortie(GB) | Temps de sortie(sec) | Temps de chargement(sec) |
|---|---|---|---|
| Non compressé | 6.83 | 7.7 | 10.1 |
| 1 | 1.48 | 81.3 | 53.7 |
| 4(Défaut) | 1.47 | 107.8 | 57.2 |
| 9 | 1.46 | 204.3 | 56.6 |
Si les données changent, le résultat peut changer,
――Il existe une grande différence de taille de fichier entre non compressé et compressé, mais le temps requis pour l'entrée et la sortie augmente également considérablement. ――Si vous augmentez le niveau de compression, le temps de traitement sera relativement long, mais le taux de compression n'augmentera pas autant.
Je pense que c'est tout simplement la même tendance que la référence gzip, Il semble qu'il y ait des cas où la différence de temps d'entrée / sortie avec et sans compression est inquiétante.
Recommended Posts