Créez un environnement dans lequel Tensorflow et Keras s'exécutent sur un GPU sur une instance de GPU AWS.
Je sais que ces articles sont le nième breuvage, mais même ainsi, il y a des matériaux épars écrits à chaque moment sur le net dont je ne sais pas s'ils sont les plus récents ou non, alors j'écrirai la situation actuelle en la divisant avec de tels articles. .. Il semble qu'il ait été libéré de l'installation manuelle de Nouveau et CUDA Toolkit, bien qu'il y ait encore quelques parties du manuel.
En gros, reportez-vous au contenu de l'URL suivante. Les versions détaillées, etc. ont été modifiées.
Le système d'exploitation à sélectionner est Ubuntu 16.04, et les paramètres détaillés seront omis. La mise en garde ici est que les fichiers CUDA Toolkit sont énormes, c'est donc une bonne idée de définir la taille de stockage un peu plus grande que les 8 Go par défaut.
$ sudo add-apt-repository ppa:graphics-drivers/ppa -y
$ sudo apt-get update
$ sudo apt-get install -y nvidia-375 nvidia-settings
Installez la boîte à outils CUDA. Cette fois, j'utiliserai la version 8.0. Ici, il est obtenu par wget, mais c'est le même que le programme d'installation obtenu par "Linux> x86_64> Ubuntu> 16.04> deb (local)" à partir de l'URL suivante.
CUDA Toolkit Download | NVIDIA Developer
$ wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo apt-get update
$ sudo apt-get install -y cuda nvidia-cuda-toolkit
Maintenant, vérifiez qu'il a été correctement installé avec nvidia-smi et nvcc --version.
** Ajout: Il semble que vous puissiez télécharger directement à partir de l'URL suivante. ** **
$ wget http://developer.download.nvidia.com/compute/redist/cudnn/v5.1/cudnn-8.0-linux-x64-v5.1.tgz
~~ cuDNN doit être téléchargé à partir du site NVIDIA et transféré vers votre instance AWS. ~~
~~ Cliquez sur le bouton de téléchargement à l'URL ci-dessous pour accepter le "Contrat de licence du logiciel cuDNN", puis sur "Télécharger cuDNN v5.1 (20 janvier 2017), pour CUDA 8.0" "CuDNN v5.1 Library for Linux" (nom de fichier: Téléchargez cudnn-8.0-linux-x64-v5.1.tgz). Connexion requise. ~~
NVIDIA cuDNN | NVIDIA Developer
~~ Copiez le fichier téléchargé sur votre instance de GPU AWS. ~~
# local
$ scp cudnn-8.0-linux-x64-v5.1.tgz aws-gpu-instance:
Décompressez et placez les fichiers à l'intérieur.
$ tar zxvf cudnn-8.0-linux-x64-v5.1.tgz
$ sudo mv cuda/lib64/* /usr/local/cuda/lib64/
$ sudo mv cuda/include/* /usr/local/cuda/include/
Ajoutez les paramètres suivants au fichier de paramètres du shell que vous utilisez. Cette fois, je l'ai ajouté à .bashrc.
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64"
export CUDA_HOME=/usr/local/cuda
Il est maintenant temps de configurer Tensorflow et Keras. Je vais omettre de créer l'environnement Python, mais si vous suivez cet article, vous pouvez créer un environnement Python3 en utilisant pyenv / virtualenv.
$ pip install tensorflow-gpu
$ pip install keras
Essayez de télécharger le code source de Keras et d'exécuter certains des exemples qu'il contient.
$ git clone https://github.com/fchollet/keras.git
$ cd keras/examples
$ python mnist_cnn.py
Essayez de déplacer quelque chose de manière appropriée, et si GPU-Util utilise nvidia-smi, ou s'il est clairement plus rapide que la version locale ou d'utilisation du processeur, ce sera OK. Je vous remercie pour votre travail acharné.
Une des URL de référence Si vous installez conformément à ce qui précède, une erreur se produira en raison de la différence de version de cuDNN. Utilisez v5.1 au lieu de v5.0.
Loaded runtime CuDNN library: 5005 (compatibility version 5000) but source was compiled with 5110 (compatibility version 5100)
Recommended Posts