Contexte

Le [Tutoriel DCGAN] de PyTorch (https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html) nécessite un énorme ensemble de données (1 Go, environ 220 000 images) ↓ L'apprentissage est lent et manque de mémoire lors de l'exécution sur Jupyter Lab local ↓ Apprenons sur ** Google Colaboratory ** (ci-après Colab) qui peut également utiliser GPU ↓ Des problèmes surviennent lors du déplacement des mains

** Comment copier un jeu de données dans Colab? ** **

problème

―― Colab peut-il faire référence aux fichiers Google Drive? ――Le ZIP peut-il être décompressé sur Colab?

Colab peut-il faire référence aux fichiers Google Drive?

Vous pouvez vous y référer en montant Google Drive. Créez un nouveau bloc-notes et exécutez le code suivant.

from google.colab import drive
drive.mount('/content/drive')

Accédez au lien pour générer le code de vérification. Sélectionnez le compte qui utilise Colab dans la sélection de compte. Google Drive File Stream demandera l'accès, alors autorisez-le. Un code d'autorisation sera émis, donc copiez, collez et entrez.

Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=xxx
Enter your authorization code:

ZIP peut-il être décompressé sur Colab?

Vous pouvez utiliser la commande unzip sur Colab. Tout d'abord, téléchargez le fichier ZIP de l'ensemble de données sur Google Drive et copiez-le sur Colab.

cp "./drive/My Drive/Colab Notebooks/data/celeba/img_align_celeba.zip" "."

Après cela, utilisez la commande unzip pour le décompresser sur Colab.

!unzip "img_align_celeba.zip"

Essayez d'afficher l'image décompressée

from PIL import Image
Image.open('img_align_celeba/000001.jpg')

J'ai pu l'afficher en toute sécurité.

Résumé

ZIP téléversez l'ensemble de données sur Google Drive
Montez Google Drive sur Colab
Copiez le fichier ZIP sur Colab
Décompressez le fichier ZIP sur Colab

Postscript

Si vous souhaitez simplement télécharger le fichier vers Colab, vous pouvez sélectionner le fichier local avec le code suivant. Cependant, je pense qu'il faut beaucoup de temps pour télécharger un gros fichier. Je pense que je peux télécharger plus rapidement via Google Drive dans cet article.

from google.colab import files
files.upload()

[PYTHON] [Colab] Comment copier un vaste ensemble de données