[PYTHON] Comment installer Fast.ai sur le GPU Alibaba Cloud et l'exécuter sur un ordinateur portable Jupyter
Cette fois, je vais vous montrer comment installer la bibliothèque fast.ai sur le service Alibaba Cloud Elastic ** GPU ** et comment y accéder en utilisant ** Jupyter ** Notebook.
- Ce blog est une traduction de la version anglaise. Vous pouvez vérifier l'original depuis ici. Certaines traductions automatiques sont utilisées. Nous vous serions reconnaissants de bien vouloir signaler toute erreur de traduction. *
Pourquoi GPU?
Le Deep Learning en particulier nécessite beaucoup de multiplication matricielle. Il a été constaté que ce processus peut être exécuté exceptionnellement bien sur le GPU (Graphical Processing Unit) par rapport à l'unité centrale de traitement (CPU). Avant le boom de l'apprentissage profond, les GPU étaient principalement utilisés pour les jeux et autres rendus graphiques. Aujourd'hui, il est souvent utilisé pour la formation de modèles et le raisonnement en apprentissage profond. Cependant, tous les GPU ne conviennent pas à cette tâche, et les praticiens du deep learning utilisent généralement des GPU NVIDIA car la bibliothèque CUDA et les cartes GPU de NVIDIA sont optimisées pour le deep learning. Je vais.
Avoir un GPU lui-même nécessite de configurer une machine avec un GPU et un système d'exploitation approprié, il n'est donc pas prêt à résoudre les problèmes d'apprentissage en profondeur. Pour l'instant, les praticiens du deep learning utilisent principalement Ubuntu pour gérer leurs expériences. La configuration d'une machine GPU locale, ainsi que de toutes les dépendances, pilotes et installations logicielles, nécessite du temps et des connaissances en conception matérielle. Au lieu de cela, une approche plus efficace consiste à louer une instance GPU via un fournisseur de cloud comme Alibaba Cloud.
Les instances de GPU Alibaba Cloud sont facturées en fonction de l'utilisation réelle, ce qui vous permet d'économiser de l'argent sur les tests de GPU. Vous n'avez pas non plus à vous soucier des paramètres matériels ou des installations logicielles, car Alibaba Cloud a déjà effectué ces paramètres.
Caractéristiques de Fast.ai
Fast.ai fournit les fonctionnalités suivantes.
- La bibliothèque CUDA intégrée doit prendre en charge l'installation du pilote NVIDIA, pour voir comment le pilote NVIDIA fonctionne, entrez la commande suivante:
nvidia-smi - Facile à installer via
condaoupip. - Prise en charge immédiate de la vision par ordinateur, du traitement du langage naturel, des données tabulaires et des modèles de co-filtrage.
Ce qui suit décrit comment installer la bibliothèque Fast.ai sur le service GPU Alibaba Cloud Elastic sur Ubuntu 16.04 et l'exécuter sur le notebook Jupyter.
Exigences
- Nouvelle instance Alibaba Cloud Ubuntu 16.04 avec au moins 10 Go de RAM NVIDIA GPU.
- Définissez le mot de passe root sur le serveur
Lancez l'instance Alibaba Cloud ECS
Pour acheter une instance de service Alibaba Cloud Elastic GPU, vous devez d'abord vous connecter à la console Alibaba Cloud ECS. Créez une nouvelle instance ECS et sélectionnez Ubuntu 16.04 comme système d'exploitation avec au moins 10 Go de RAM GPU NVIDIA. Choisissez une carte GPU NVIDIA au lieu d'AMD, comme indiqué dans la capture d'écran ci-dessous. Certains emplacements n'offrent pas d'instances GPU, alors choisissez un emplacement proche de l'endroit où vous avez votre instance GPU ou choisissez le moins cher.
Après avoir sélectionné le type d'instance, n'oubliez pas de sélectionner Ubuntu 16.04 64bit comme système d'exploitation, cochez l'option d'installation automatique du pilote GPU et sélectionnez le dernier pilote. Cette option installe automatiquement les pilotes CUDA et GPU lorsque vous créez l'instance.
Connectez-vous ensuite à l'instance ECS (https://www.alibabacloud.com/help/ja/doc-detail/25434.htm) et connectez-vous en tant qu'utilisateur root.
Installation d'Anaconda
La meilleure façon de travailler avec la bibliothèque fast.ai et d'autres bibliothèques utilisant Python est de pouvoir créer cet environnement via Anaconda et de ne pas confondre les autres choses que nous avons faites sur la machine. ..
Tout d'abord, vous devez télécharger Anaconda pour Linux à partir de cette URL: [https://www.anaconda.com/download/#linux](https://www.anaconda.com/download?spm=a2c65.11461447.0. 0.1a843ce9ZkXyNF # linux)
Regardez le bouton de téléchargement Python 3.7, faites un clic droit et copiez le lien.
Après cela, collez le lien dans le terminal et téléchargez-le avec la commande suivante.
curl –o https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
Une fois le téléchargement terminé, la vérification de l'intégrité des données avec la vérification du hachage cryptographique de la somme de contrôle SHA-256 est facultative, mais entrez la commande suivante:
sha256-sum Anaconda3-5.3.0-Linux-x86_64.sh
Pour le hachage de sortie, vous devez vérifier la page Anaconda pour la version correcte d'Anaconda. Si la sortie de hachage est la même, elle a été vérifiée.
Vous pouvez installer Anaconda immédiatement après la fin du téléchargement avec la commande suivante.
bash Anaconda3-5.3.0-Linux-x86_64.sh
Production:
Welcome to Anaconda3 5.3.0 (by Continuum Analytics, Inc.)
In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue
Appuyez sur Entrée pour continuer le processus d'installation, puis maintenez la touche Entrée enfoncée pour charger les informations de licence. Vous devez approuver la licence comme indiqué dans la sortie ci-dessous.
Production:
Do you approve the license terms? [yes|no]
Entrez «Oui» pour approuver et démarrer l'installation d'Anaconda.
Vous devez maintenant sélectionner l'emplacement où vous souhaitez installer Anaconda. Si l'emplacement d'installation par défaut est suffisant, appuyez sur «Entrée» ou spécifiez un autre emplacement pour installer Anaconda.
Production:
Anaconda3 will now be installed into this location:
/root/anaconda3
- Press ENTER to confirm the location
- Press CTRL-C to abort the installation
- Or specify a different location below
[/root/anaconda3] >>>
Le travail d'installation est maintenant commencé. Ce processus peut prendre du temps car Anaconda contient des centaines de packages Python. Certains de ces packages seront utilisés par vous tout au long de la journée d'apprentissage machine learning et deep learning.
Lorsque le processus d'installation est terminé, vous devriez voir une sortie similaire à ce qui suit:
Production:
...
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /root/.bashrc ? [yes|no]
[no] >>>
Si vous entrez «yes» à cette étape, vous pourrez utiliser la commande «conda» plus tard.
Production:
Prepending PATH=/root/anaconda3/bin to PATH in /home/sammy/.bashrc
A backup will be made to: /root/.bashrc-anaconda3.bak
...
Pour démarrer Anaconda, vous devez générer le fichier bashrc avec la commande suivante:
source ~/.bashrc
Après cette étape, vous pouvez vérifier votre installation Anaconda avec la commande suivante:
conda list
Cette commande répertorie tous les packages Python installés par Anaconda.
Dans cet exemple, nous allons créer un environnement virtuel nommé fast.ai et entrer cette commande.
conda create --name fast.ai python=3
La sortie de cette commande listera tous les packages qui seront installés, alors tapez y si vous êtes d'accord.
Une fois le processus terminé, démarrez l'environnement avec la commande suivante pour commencer à travailler.
source activate fast.ai
Production:
(fast.ai) root@ubuntu:~$
Lorsque vous avez terminé de travailler dans l'environnement fast.ai, fermez-le avec la commande suivante.
source deactivate
Installez Fast.ai
La bibliothèque Fast.ai peut être trouvée sur https://github.com/fastai. La procédure d'installation est simple et facile. Il fournit à la fois la version GPU et la version CPU, mais cette fois, je suis intéressé par l'apprentissage en profondeur, donc je vais installer la version GPU fast.ai.
Tout d'abord, entrez la commande suivante pour installer le logiciel Pytorch. Puisque fast.ai est une bibliothèque de logiciels qui s'exécute sur le logiciel Pytorch, vous devez d'abord installer Pytorch pour installer fast.ai. N'oubliez pas d'activer l'environnement fast.ai.
source activate fast.ai
conda install -c pytorch pytorch-nightly cuda92
Ceci imprime une liste des logiciels que conda installe dans l'environnement fast.ai. Entrez «y» si vous êtes d'accord.
Entrez ensuite la commande suivante pour installer le logiciel de vision de la torche.
conda install -c fast.ai torchvision-nightly
Lorsque vous voyez la sortie de la liste des logiciels, entrez «y» pour accepter.
Enfin, pour installer fast.ai, entrez la commande suivante:
conda install -c fast.ai fast.ai
Lorsque vous voyez la sortie de la liste des logiciels, entrez «y» pour accepter.
À ce stade, nous avons installé fast.ai avec succès et sommes prêts à expérimenter le deep learning.
Essayez Fast.ai avec l'exemple de note Jupyter
La meilleure façon de tester votre installation fast.ai est de travailler avec des exemples prêts à l'emploi pour la vision par ordinateur, le traitement du langage naturel, les données tabulaires et les modèles de co-filtrage.
Prenons l'exemple de la vision par ordinateur cette fois.
Entrez la commande suivante pour copier les exemples de données de fast.ai.
git clone https://github.com/fast.ai/fast.ai/tree/master/examples
Maintenant, le dossier dans ~ / examples est
Exécutez la commande suivante.
jupyter notebook –-ip=0.0.0.0 –allow-root
Cela générera un Jupyter Notebook en cours d'exécution avec un tel jeton pour un premier accès.
http://(your-ip-address)/tree?token=f79ec772e0e53d30a221ecb18d447761e0f5a9d223c20175
Ouvrez un autre terminal et entrez la commande suivante:
ssh –L localhost:8888:localhost:8888 root@(your-ip-address)
Entrez votre mot de passe et cliquez sur Entrée.
Ouvrez un navigateur Web et collez le jeton ci-dessus dans la barre d'adresse URL.
http://localhost:8888/tree?token=f79ec772e0e53d30a221ecb18d447761e0f5a9d223c22017
Cette commande ouvre le bloc-notes Jupyter dans l'URL, puis ouvre le dossier ~ / examples et clique sur dogs_cats.ipyb pour afficher le bloc-notes Jupyter comme indiqué ci-dessous.
Pour essayer la bibliothèque fast.ai, tapez simplement Shift + Enter et exécutez toutes les commandes. Vous pouvez voir comment se déroule le processus d'apprentissage en profondeur. Pour plus d'informations, veuillez visiter http://docs.fast.ai/ pour tout sur ce logiciel. Veuillez trouver le matériel.
- Alibaba Cloud est l'opérateur d'infrastructure cloud n ° 1 (Gartner 2019) dans la région Asie-Pacifique avec deux centres de données au Japon et plus de 60 zones de disponibilité dans le monde. Cliquez ici pour plus d'informations sur Alibaba Cloud. Page officielle d'Alibaba Cloud Japan *
Recommended Posts