Ich habe einen Datensatz namens VGFFace2 und muss mich anmelden, um die Daten herunterzuladen. Da der Gesamtdatensatz ungefähr 40 GB beträgt, möchten Sie ihn auf den Server unter AWS herunterladen, anstatt ihn lokal herunterzuladen. Da der Server in AWS jedoch CUI ist, können Sie den Browser nicht öffnen, sich anmelden und herunterladen. Daher werde ich in diesem Artikel erklären, wie Sie mit wget in derselben Situation herunterladen, in der Sie sich in der CUI-Umgebung angemeldet haben.
Öffnen Sie zunächst die folgende Site in Ihrer lokalen Umgebung und melden Sie sich an. http://zeus.robots.ox.ac.uk/vgg_face2/ Auf dieser Site wird nach dem Anmelden ein Token ausgegeben und von Cookies verwaltet. Wenn Sie diese Cookies verwenden, können Sie sie auch in CUI herunterladen. Um Cookies anzuzeigen, verwenden Sie die Entwicklertools von Chrome, öffnen Sie die Registerkarte "Anwendungen" und klicken Sie auf Cookies, um eine Liste der auf Ihrer Website verwendeten Cookies anzuzeigen.
Um Cookies verwenden zu können, müssen die Cookie-Informationen entsprechend dem Format als txt gespeichert werden. Sie können es manuell entsprechend dem Format schreiben, aber verwenden wir es, da die Chrome-Erweiterung "get cookies.txt" enthält. https://chrome.google.com/webstore/detail/get-cookiestxt/bgaddhkoddajcdgocldbbfleckgcbcid/related Nachdem Sie cookies.txt heruntergeladen haben, speichern Sie cookies.txt auf Ihrem Server.
Nachdem die Cookies mit den Anmeldeinformationen fertig sind, müssen Sie sie nur noch mit wget herunterladen. Der Download-Link für den VGG Face2-Datensatz befindet sich unten. Ich habe den folgenden Link gefunden, indem ich mit der rechten Maustaste auf den Link auf der Download-Seite des Datensatzes geklickt und den Link erhalten habe.
Train Data_v1. http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_train.tar.gz Test Data_v1 http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_test.tar.gz Train_Images_v1. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/meta/train_list.txt Test_Images_v1. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/meta/test_list.txt
Der Befehl wget, der cookies.txt verwendet, befindet sich unten. Sie müssen cookies.txt in denselben Ordner legen, wenn Sie diesen Befehl ausführen.
wget --load-cookies cookies.txt -r -k -E url
Laden Sie die 36 GB Zugdaten wie folgt direkt auf Ihren Server herunter:
wget --load-cookies cookies.txt -r -k -E http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_train.tar.gz
Recommended Posts