[LINUX] So erstellen Sie große Dateien mit hoher Geschwindigkeit

Einführung

Mit welchem Befehl erstellen Sie eine leere Datei? In meinem Fall habe ich den Befehl touch verwendet, wenn die Dateigröße 0 war, und den Befehl dd, wenn ich eine Datei einer bestimmten Größe benötigte, wie unten gezeigt.

Abgesehen vom Befehl "dd" habe ich jedoch erfahren, dass es einen Befehl namens "fallocate" gibt, mit dem eine Datei einer bestimmten Größe erstellt werden kann. Daher habe ich die Leistung beider verglichen.

[nkojima@akagi sample_files]$ touch sample.txt
[nkojima@akagi sample_files]$ dd if=/dev/zero of=./sample2.txt bs=1K count=1024
1024+0 Aufzeichnungseingabe
1024+0 Datensatzausgabe
1048576 Bytes(1.0 MB)Kopiert, 0.00580267 Sekunden, 181 MB/Sekunden
[nkojima@akagi sample_files]$ ls -lah
Insgesamt 1.0M
drwxrwxr-x 2 nkojima nkojima 43 21. Juni 12:18 .
drwx------.5 nkojima nkojima 175 21. Juni 12:17 ..
-rw-rw-r--1 nkojima nkojima 0 21. Juni 12:17 sample.txt
-rw-rw-r--  1 nkojima nkojima 1.0M 21. Juni 12:18 sample2.txt

Zum Testen verwendete Umgebung

• CPU
• Kabylake: Pentium G4560
• Hauptplatine: ASRock H110M-STX
• Speicher: 8 GB (4 GB x 2)
• Speicher: 256 GB SSD (NVMe)
• OS
• CentOS 7.8（2003）

Testmethode

• Ich habe die Befehle dd und fallocate verwendet, um Dateien unterschiedlicher Größe zu erstellen und ihre Verarbeitungsgeschwindigkeit zu messen.
• Dateigröße: 100 MB, 500 MB, 1 GB, 2 GB, 4 GB, 8 GB, 16 GB
• Die optionale Blockgröße (-bs) für den Befehl dd beträgt 1 MB.
• Die Verarbeitungszeit ist nicht genau, da der Befehl date verwendet wurde, um die Verarbeitungszeit wie unten gezeigt zu messen.
• Der Prozess wurde dreimal ausgeführt und der Durchschnittswert wurde als Testergebnis verwendet.

[root@akagi ~]# date; dd if=/dev/zero of=dd.txt bs=1M count=100; date;
Sonntag, 21. Juni 2020 12:48:28 JST
100+0 Aufzeichnungseingabe
100+0 Datensatzausgabe
104857600 Bytes(105 MB)Kopiert, 0.0362178 Sekunden, 2.9 GB/Sekunden
Sonntag, 21. Juni 2020 12:48:29 JST
[root@akagi ~]# date; fallocate -l 100m ./fallocate.txt; date;
Sonntag, 21. Juni 2020 12:48:52 JST
Sonntag, 21. Juni 2020 12:48:52 JST

Testergebnisse

• Wie Sie der folgenden Tabelle entnehmen können, war der Befehl "fallocate" überwältigend schneller.
• Der Befehl fallocate kann besonders nützlich sein, wenn Sie eine einzelne große Datei erstellen müssen, z. B. beim Erstellen eines Auslagerungsbereichs.
• Der Befehl dd benötigt einige Verarbeitungszeit, selbst wenn Sie Hochgeschwindigkeitsspeicher (NVMe-SSD) verwenden. Ich denke, dass ein langsamer Speicher einen größeren Unterschied macht.

In Verbindung stehender Artikel

• Testdatei mit angegebener Größe und Menge erstellen
• Es scheint besser, diesen Artikel so zu ändern, dass der Befehl fallocate anstelle des Befehls dd verwendet wird.