Comment utiliser Google Colab pour les tâches de programmation avancées de machine learning dans Coursera. Sert également de mémo privé.

Contexte

J'ai commencé à suivre un cours d'apprentissage automatique avancé il y a environ deux jours, mais dans la tâche de programmation de la troisième semaine, j'ai finalement dit: "Il peut être exécuté dans l'environnement fourni par Coursera, mais il faut 2 heures pour entraîner le modèle car il s'agit d'un processeur! On m'a dit, alors je suis passé à Google Colaboratory, qui peut utiliser le GPU, dès que possible.

Mécanisme de soumission des affectations de programmation de Coursera

Dans la tâche de programmation de Coursera (ou plutôt ce cours?), À chaque point de contrôle, envoyez la valeur de la variable (comme la performance prévue du modèle ou le nombre total de paramètres) au côté Coursera pour vérifier si la valeur est acceptable. C'est un mécanisme qui vous permet d'obtenir des points en le faisant. Il y a environ 6 points de contrôle pour chaque tâche. Pour le moment, nous utilisons un module unique appelé grading_utils. L'objectif principal de cette fois est de rendre ce module appelable depuis Colab.

Téléchargement de fichier

En fait, Coursera a préparé un fichier appelé "setup_google_colab.py" afin que vous puissiez créer un environnement avec Colab. Tout d'abord, téléchargez ce fichier.

Tout d'abord, ouvrez la note de problème et cliquez sur le logo COURSERA en haut à gauche.
Ensuite, une liste de fichiers s'affiche. Sélectionnez "setup_google_colab.py" pour l'ouvrir.
Vous pouvez télécharger le fichier sur votre PC en sélectionnant Télécharger dans l'onglet Fichier en haut à gauche.
De la même manière, déposez le problème .ipynb sur votre PC.
Téléchargez le fichier déposé sur votre lecteur Google.

Monture Google Drive

Montez ensuite le Drive afin que Colab puisse accéder aux fichiers sur votre Google Drive.

Tout d'abord, ouvrez le fichier de problème téléchargé dans Colab.
Exécutez la commande suivante.

from google.colab import drive
drive.mount('/content/drive')

Lorsque vous l'exécutez, un lien apparaîtra comme ceci. Allez sur le lien pour obtenir le code d'autorisation et tapez Entrez votre code d'autorisation: pour terminer le montage.
Si vous cliquez sur la marque comme "trois" à côté, vous pouvez voir que les fichiers sur votre disque sont dans le répertoire'drive'd.

Importation du module de configuration

Il ne vous reste plus qu'à importer le module via le chemin. Par exemple, dans mon cas, l'emplacement du fichier est "Mon Drive / HOME / Cousera / setup_google_colab.py", donc la commande suivante ajoutera le chemin vers sys.path.

import sys
sys.path.append('/content/drive/My Drive/HOME/Cousera/')

Vous pouvez maintenant l'importer.

import setup_google_colab

Setup Dans setup_google_colab, une fonction de paramétrage pour chaque problème est définie, et une fois exécutée, les modules et fichiers externes nécessaires sont automatiquement téléchargés dans le dossier de colab. Cette fois, c'est le numéro 3, donc

setup_google_colab.setup_week3()

c'est tout. Les notes d'affectation fonctionneront désormais sur Colab.

finalement

Après tout, j'ai fait une erreur dans la structure du modèle et je l'ai recyclé environ 3 fois, alors j'ai pensé que je le ferais avec le processeur et ce serait de la sueur froide. Au fait, j'ai écrit dans le cahier que cela prend 1 heure et 30 minutes pour le processeur, mais le calcul a été effectué en un peu plus de 4 minutes pour le GPU. Comme prévu ...