J'ai un ensemble de données appelé VGGFace2 et je dois me connecter pour télécharger les données. Étant donné que l'ensemble de données total est d'environ 40 Go, vous souhaitez le télécharger sur le serveur sur AWS au lieu de le télécharger localement. Cependant, puisque le serveur sur AWS est CUI, vous ne pouvez pas ouvrir le navigateur, vous connecter et télécharger. Par conséquent, dans cet article, je vais vous expliquer comment télécharger à l'aide de wget dans la même situation que lorsque vous vous êtes connecté à l'environnement CUI.
Tout d'abord, ouvrez le site suivant dans votre environnement local et connectez-vous. http://zeus.robots.ox.ac.uk/vgg_face2/ Sur ce site, après la connexion, un token est émis et géré par des cookies. Si vous utilisez ces cookies, vous pouvez également les télécharger dans CUI. Pour voir les cookies, utilisez les outils de développement de Chrome, ouvrez l'onglet "applications" et cliquez sur les cookies pour voir une liste des cookies utilisés sur votre site.
Afin de pouvoir utiliser des cookies, il est nécessaire de sauvegarder les informations des cookies au format txt selon le format. Vous pouvez l'écrire manuellement en fonction du format, mais utilisons-le car il y a quelque chose appelé "get cookies.txt" dans l'extension Chrome, ce qui est pratique. https://chrome.google.com/webstore/detail/get-cookiestxt/bgaddhkoddajcdgocldbbfleckgcbcid/related Une fois que vous avez téléchargé cookies.txt, enregistrez cookies.txt sur votre serveur.
Maintenant que les cookies avec les informations de connexion sont prêts, il ne vous reste plus qu'à les télécharger à l'aide de wget. Le lien de téléchargement pour l'ensemble de données VGG Face2 est ci-dessous. J'ai trouvé le lien ci-dessous en cliquant avec le bouton droit sur le lien sur la page de téléchargement de l'ensemble de données et en obtenant le lien.
Train Data_v1. http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_train.tar.gz Test Data_v1 http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_test.tar.gz Train_Images_v1. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/meta/train_list.txt Test_Images_v1. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/meta/test_list.txt
La commande wget qui utilise cookies.txt est ci-dessous. Vous devez mettre cookies.txt dans le même dossier lorsque vous appuyez sur cette commande.
wget --load-cookies cookies.txt -r -k -E url
Téléchargez les données de train de 36 Go directement sur votre serveur comme suit:
wget --load-cookies cookies.txt -r -k -E http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_train.tar.gz
Recommended Posts