HTTP Split Download Typ mit Python gemacht

Auslösen

――Ich habe einen Vertrag für die optische Leitung meines Hauses mit 1 Gbit / s abgeschlossen, aber als ich versuchte, eine große Datei (ISO von Linux) usw. über HTTP herunterzuladen, kam die Geschwindigkeit nicht heraus

Warum?

• Der Durchsatz, der mit einer einzelnen TCP-Verbindung ausgegeben werden kann, ist begrenzt.
• So überprüfen Sie ~~ TCP-Empfangsfenstergröße ~~ für Linux (um genau zu sein, Kernel-Puffergröße)

$cat /proc/sys/net/ipv4/tcp_rmem
4096    87380   6291456

Von links [min, default, max]

Der maximale Durchsatz ist also

T_{max} = win / RTT

Wenn es sich also um eine einzelne TCP-Verbindung handelt, erfolgt die Kommunikation mit einem Server mit RTT = 30 ms im Standardzustand ~~ Ungefähr 87380 [Byte] * 8/30 [ms] ≒ 23,3 [Mbit / s] nur ~~ In der Tat, ** wenn es keine Überlastung gibt **, wird die Fenstergröße immer größer, so dass es schneller wird.

Natürlich verfügt TCP über eine Fensterskalierungsoption zur Unterstützung von Breitbandnetzwerken. Die Fenstergröße kann auf 1 GByte erweitert werden (es ist nicht bekannt, ob es tatsächlich verwendet wird).

Wenn es theoretisch mehrere Verbindungen gibt und N Leitungen gebündelt sind, ist das Band N-mal

Bestehende Werkzeuge

Wget und Curl sind als Werkzeuge bekannt, die über die Befehlszeile verwendet werden können Es gibt aria2 usw., die mehrere Verbindungen verwenden können Verwenden Sie den explosiven Downloader aria2, der um ein Vielfaches schneller ist als curl and wget --Qiita Überlasten Sie den anderen Server nicht, wenn Sie mehrere Verbindungen herstellen

Erstellen eines HTTP-Clients für den Betreff

HTTP hat eine Bereichsanforderung RFC 7233 - HTTP / 1.1: Bereichsanforderungen Die Implementierung ist vorerst in populärem Python

Informationen zur Bereichsanforderung

• Angenommen, Sie fordern eine 1000-Byte-Datei an
• Wenn Sie eine GET-Anfrage mit 'Range: bytes = 0-499' im Header senden, --Add'Content-Range: Bytes 0-499 / 1000 an den Antwortheader und nur die ersten 500 Bytes der Datei im Body zurückgeben.
• Der Statuscode lautet "206 Teilinhalt".

In einigen Fällen akzeptiert der Server jedoch keine Bereichskopfzeilen.

Verwenden Sie diese Funktion, um verschiedene Teile einer Datei von mehreren TCP-Verbindungen gleichzeitig anzufordern

Multiplexing

Python verfügt über ein Modul namens Selektoren, das ausgewählte Systemaufrufe auf einer höheren Ebene verarbeiten kann (in der Standardbibliothek!). 18.4. Selektoren - Hohe Stufe des E / A-Multiplexing - Python 3.6.1-Dokumentation Überwachen und multiplexen Sie mehrere Steckdosen mit diesem Typen Verwenden Sie so

#Stellen Sie sich eine Verbindung mit zwei TCP-Echoservern vor, A und B.
import selectors
import socket

#Unterlassung
sel = selectors.DefaultSelectors()
sock_A = socket.create_connection(address_A)
sock_B = socket.create_connection(address_B)

sel.resister(sock_A, selectors.EVENT_READ)
sel.resister(sock_B, selectors.EVENT_READ)


sock_B.sendall('Hello'.encode()) # send something to A
sock_B.sendall('Hello'.encode()) # send something to B

while True:
    events = sel.select()
    for key, mask in events:
        message = key.fileobj.recv(512)
        print(message.decode())

Punkt

• Da es nicht möglich ist, alle Fragmente der Dateien, die separat zurückgegeben werden, im Speicher zu behalten, schreiben Sie sie in der Reihenfolge von dem Ort in die Dateien, an dem sie sich befinden.
• Es ist keine gute Entscheidung, weiterhin eine TCP-Verbindung mit schlechter Leistung zu verwenden. Bewerten Sie daher jede Verbindung, verwerfen Sie die Verbindung mit schlechter Leistung, ersetzen Sie sie durch eine neue und senden Sie die Anforderung erneut.

Rauer Fluss

1. Senden Sie eine HTTP-HEAD-Anforderung, um die Dateigröße zu überprüfen (dies verwendet eine vorhandene HTTP-Bibliothek).
2. Bestimmen Sie die Gesamtzahl der Divisionen und die Divisionsgröße und stellen Sie eine Verbindung her
3. Senden Sie die erste Anfrage
4. Überwachen Sie die Sockets mit den oben genannten Selektoren, lesen Sie nacheinander aus den lesbaren Sockets und legen Sie jeden Socket in den Primärpuffer.
5. Wenn der Inhalt des Primärpuffers lang genug ist, um als HTTP-Antwort verarbeitet zu werden, teilen Sie ihn in einen Header und einen Body auf.
6. Identifizieren Sie aus dem Header, welchem Teil der Datei die Antwort entspricht, und wechseln Sie vom primären zum sekundären Puffer
7. Schreiben Sie von Anfang an in die Datei im sekundären Puffer und löschen Sie sie dann aus dem sekundären Puffer
8. Aktualisieren Sie den Auswertungswert jeder Verbindung, verwerfen Sie die Verbindung mit geringer Leistung und senden Sie die Anforderung erneut an die neu hergestellte Verbindung.
9. Wiederholen Sie die Schritte 4 bis 8, bis die gesamte Datei vollständig ist

Implementiert

https://github.com/johejo/rangedl Es gibt immer noch einige Fehler

Wie benutzt man

Umgebung Python 3.6.1

$ pip install git+http://github.com/johejo/rangedl.git
$ rangedl [URL] -n [NUM_OF_CONNECTION] -s [SPLIT_SIZE_MB]

• Standardmäßig zeigt tqdm den Fortschrittsbalken an. Der Fortschrittsbalken wird mit der Option -p nicht angezeigt.
• Aus Sicherheitsgründen darf die Anzahl der Verbindungen 10 nicht überschreiten. --Wenn die durch die Option angegebene Teilungsgröße kleiner als der Wert von "Dateigröße / Anzahl der Verbindungen" ist, wird der Wert von "Dateigröße / Anzahl der Verbindungen" zwangsweise als Teilungsgröße festgelegt.

Ergebnis

―― Abhängig von der Stimmung der Leitung konnte ich mit etwa 200 Mbit / s herunterladen.

• Wenn split_size auf 1 MB eingestellt ist, beträgt die Speichernutzung etwa 30-80 MB. Ist es unvermeidlich, dass die CPU-Auslastung hoch ist ...