Type de téléchargement de partage HTTP réalisé avec Python

Déclencheur

――J'ai fait un contrat pour la ligne optique de ma maison à 1 Gbps, mais quand j'ai essayé de télécharger un gros fichier (ISO de Linux) etc. par HTTP, la vitesse n'est pas sortie

Pourquoi?

--Il existe une limite au débit qui peut être généré avec une seule connexion TCP. --Comment vérifier ~~ Taille de la fenêtre de réception TCP ~~ pour Linux (pour être exact, la taille du tampon du noyau)

$cat /proc/sys/net/ipv4/tcp_rmem
4096    87380   6291456

À partir de la gauche [min, default, max]

Ainsi, le débit maximum est

T_{max} = win / RTT

Par conséquent, s'il s'agit d'une connexion TCP unique, la communication avec un serveur avec RTT = 30ms dans l'état par défaut ~~ Environ 87380 [octets] * 8/30 [ms] ≒ 23,3 [Mbps] uniquement ~~ En fait, ** s'il n'y a pas de congestion **, la taille de la fenêtre deviendra de plus en plus grande, donc elle sera plus rapide.

Bien sûr, TCP a une option à l'échelle de la fenêtre pour prendre en charge les réseaux à large bande. La taille de la fenêtre peut être étendue jusqu'à 1 Go (on ne sait pas si elle est réellement utilisée)

En théorie, s'il y a plusieurs connexions, la bande sera N fois plus grande que N faisceaux.

Outils existants

Wget et curl sont connus comme des outils qui peuvent être utilisés à partir de la ligne de commande Il y a aria2 etc. qui peuvent utiliser plusieurs connexions Utilisez le téléchargeur explosif aria2, qui est plusieurs fois plus rapide que curl et wget --Qiita Lors de l'établissement de plusieurs connexions, ne surchargez pas l'autre serveur

Créer un client HTTP pour le sujet

HTTP a une requête de plage RFC 7233 - HTTP / 1.1: Requêtes de plage La mise en œuvre est en Python populaire pour le moment

À propos de la demande de gamme

--Par exemple, supposons que vous demandiez un fichier de 1000 octets --Lors de l'envoi d'une requête GET avec 'Range: bytes = 0-499' dans l'en-tête, --Add'Content-Range: octets 0-499 / 1000 'à l'en-tête de réponse et ne renvoie que les 500 premiers octets du fichier dans le corps.

• Le code d'état est '206 Contenu partiel'

Cependant, dans certains cas, le serveur n'accepte pas les en-têtes Range.

Utilisez cette fonctionnalité pour demander différentes parties d'un fichier à partir de plusieurs connexions TCP en même temps

Multiplexage

Python a un module appelé sélecteurs qui peut gérer certains appels système à un niveau supérieur (dans la bibliothèque standard!) 18.4. Sélecteurs - Haut niveau de multiplexage d'E / S - Documentation Python 3.6.1 Surveillez et multiplexez plusieurs prises avec ce gars Utilisez comme ça

#Imaginez une connexion avec deux serveurs d'écho TCP, A et B
import selectors
import socket

#Omission
sel = selectors.DefaultSelectors()
sock_A = socket.create_connection(address_A)
sock_B = socket.create_connection(address_B)

sel.resister(sock_A, selectors.EVENT_READ)
sel.resister(sock_B, selectors.EVENT_READ)


sock_B.sendall('Hello'.encode()) # send something to A
sock_B.sendall('Hello'.encode()) # send something to B

while True:
    events = sel.select()
    for key, mask in events:
        message = key.fileobj.recv(512)
        print(message.decode())

point

• Comme il n'est pas possible de conserver tous les fragments des fichiers renvoyés séparément dans la mémoire, écrivez-les dans les fichiers dans l'ordre à partir de l'endroit où ils se trouvent.
• Ce n'est pas une bonne décision de continuer à utiliser une connexion TCP peu performante, alors évaluez chaque connexion, supprimez la connexion peu performante, remplacez-la par une nouvelle et renvoyez la demande.

Écoulement brutal

1. Envoyez une requête HTTP HEAD pour vérifier la taille du fichier (cela utilise une bibliothèque HTTP existante)
2. Déterminez le nombre total de divisions et la taille de la division, puis établissez une connexion
3. Envoyez la demande initiale
4. Surveillez les sockets avec les sélecteurs mentionnés ci-dessus, lisez séquentiellement les sockets qui sont devenus lisibles et placez chaque socket dans le tampon principal.
5. Lorsque le contenu du tampon principal est suffisamment long pour être traité comme une réponse HTTP, divisé en un en-tête et un corps
6. Identifiez la partie du fichier à laquelle la réponse correspond à partir de l'en-tête et passez du tampon principal au tampon secondaire
7. Écrire dans le fichier à partir du premier dans le tampon secondaire, puis supprimer du tampon secondaire
8. Mettez à jour la valeur d'évaluation de chaque connexion, supprimez la connexion jugée faible et renvoyez la demande à la connexion nouvellement établie.
9. Répétez les étapes 4 à 8 jusqu'à ce que le fichier entier soit complet

Mis en œuvre

https://github.com/johejo/rangedl Il y a encore quelques bugs

Comment utiliser

Environnement Python 3.6.1

$ pip install git+http://github.com/johejo/rangedl.git
$ rangedl [URL] -n [NUM_OF_CONNECTION] -s [SPLIT_SIZE_MB]

• Par défaut, tqdm affiche la barre de progression. La barre de progression ne s'affiche pas avec l'option -p.
• Pour des raisons de sécurité, le nombre de connexions ne peut excéder 10. --Si la taille de division spécifiée par l'option est inférieure à la valeur de «Taille du fichier / Nombre de connexions», la valeur de «Taille du fichier / Nombre de connexions» est définie de force comme taille de division.

résultat

――Selon l'humeur de la ligne, j'ai pu télécharger à environ 200 Mbps. --Lorsque split_size est défini sur 1 Mo, l'utilisation de la mémoire est d'environ 30 à 80 Mo. Est-il inévitable que l'utilisation du processeur soit élevée ...