[PYTHON] [Colab] So kopieren Sie einen riesigen Datensatz
Hintergrund
PyTorchs DCGAN-Tutorial erfordert einen riesigen Datensatz (1 GB, ca. 220.000 Bilder). ↓ Das Lernen ist langsam und es fehlt an Speicher, wenn es im lokalen Jupyter Lab ausgeführt wird ↓ Lassen Sie uns auf ** Google Colaboratory ** (im Folgenden Colab) lernen, das auch GPU verwenden kann ↓ Beim Bewegen der Hände treten Probleme auf
** Wie kopiere ich einen Datensatz nach Colab? ** ** **
Problem
――Kann Colab auf Google Drive-Dateien verweisen? ――Kann ZIP auf Colab dekomprimiert werden?
Kann Colab auf Google Drive-Dateien verweisen?
Sie können darauf verweisen, indem Sie Google Drive bereitstellen. Erstellen Sie ein neues Notizbuch und führen Sie den folgenden Code aus.
from google.colab import drive
drive.mount('/content/drive')
Greifen Sie auf den Link zu, um den Bestätigungscode zu generieren. Wählen Sie in der Kontoauswahl das Konto aus, das Colab verwendet. Google Drive File Stream fragt nach dem Zugriff. Lassen Sie ihn also zu. Es wird ein Autorisierungscode ausgegeben, also kopieren, einfügen und eingeben.
Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=xxx
Enter your authorization code:
Kann ZIP auf Colab dekomprimiert werden?
Sie können den Befehl unzip in Colab verwenden. Laden Sie zunächst die ZIP-Datei des Datensatzes auf Google Drive hoch und kopieren Sie sie auf Colab.
cp "./drive/My Drive/Colab Notebooks/data/celeba/img_align_celeba.zip" "."
Verwenden Sie danach den Befehl unzip, um es in Colab zu entpacken.
!unzip "img_align_celeba.zip"
Versuchen Sie, das entpackte Bild anzuzeigen
from PIL import Image
Image.open('img_align_celeba/000001.jpg')
Ich konnte es sicher anzeigen.
Zusammenfassung
- Laden Sie den Datensatz per ZIP auf Google Drive hoch
- Hängen Sie Google Drive auf Colab ein
- Kopieren Sie die ZIP-Datei auf Colab
- Entpacken Sie die ZIP-Datei auf Colab
Nachtrag
Wenn Sie die Datei nur in Colab hochladen möchten, können Sie die lokale Datei mit dem folgenden Code auswählen. Ich habe jedoch das Gefühl, dass das Hochladen einer großen Datei sehr lange dauert. Ich habe das Gefühl, dass ich in diesem Artikel schneller über Google Drive hochladen kann.
from google.colab import files
files.upload()
Recommended Posts