Dieses Mal habe ich die großen Bilddaten erneut im h5-Format gespeichert. In h5py können Sie Variablen mit gzip komprimieren, indem Sie wie folgt schreiben.
x = cv2.imread("Großes Bild 1.png ")
y = cv2.imread("Großes Bild 2.png ")
with h5py.File("out.h5", "w") as f:
f.create_dataset("data1", data=X, compression="gzip", compression_level=4)
f.create_dataset("data2", data=y, compression="gzip", compression_level=4)
Ich bin mir über die Zeit nicht sicher, weil es nicht der Durchschnitt der Ergebnisse ist, die ich mehrmals gemacht habe.
| Komprimierungsstufe | Größe der Ausgabedatei(GB) | Ausgabezeit(sec) | Ladezeit(sec) |
|---|---|---|---|
| Unkomprimiert | 6.83 | 7.7 | 10.1 |
| 1 | 1.48 | 81.3 | 53.7 |
| 4(Standard) | 1.47 | 107.8 | 57.2 |
| 9 | 1.46 | 204.3 | 56.6 |
Wenn sich die Daten ändern, kann sich das Ergebnis ändern.
――Es gibt einen großen Unterschied in der Dateigröße zwischen unkomprimiert und komprimiert, aber auch die für die Eingabe und Ausgabe erforderliche Zeit nimmt erheblich zu. ――Wenn Sie die Komprimierungsstufe erhöhen, ist die Verarbeitungszeit relativ lang, aber die Komprimierungsrate erhöht sich nicht so stark.
Ich denke, es ist einfach der gleiche Trend wie beim gzip-Benchmark. Es scheint Fälle zu geben, in denen der Unterschied in der Eingabe- / Ausgabezeit mit und ohne Komprimierung besorgniserregend ist.
Recommended Posts