Erstellen Sie eine Umgebung, in der Tensorflow und Keras auf einer GPU auf einer AWS-GPU-Instanz ausgeführt werden.
Ich weiß, dass diese Artikel das n-te Gebräu sind, aber trotzdem gibt es verstreute Materialien im Netz, die zu jedem Zeitpunkt geschrieben werden, und ich weiß nicht, ob sie die neuesten sind oder nicht, also werde ich die aktuelle Situation schreiben, indem ich sie durch solche Artikel teile. .. Es scheint, dass es aus der manuellen Installation von Nouveau und CUDA Toolkit freigegeben wurde, obwohl es noch einige manuelle Teile gibt.
Verweisen Sie grundsätzlich auf den Inhalt der folgenden URL. Detaillierte Versionen usw. wurden geändert.
Das zu wählende Betriebssystem ist Ubuntu 16.04, und die detaillierten Einstellungen werden weggelassen. Die Einschränkung hierbei ist, dass die CUDA Toolkit-Dateien sehr groß sind. Daher empfiehlt es sich, die Speichergröße etwas größer als die Standardgröße von 8 GB festzulegen.
$ sudo add-apt-repository ppa:graphics-drivers/ppa -y
$ sudo apt-get update
$ sudo apt-get install -y nvidia-375 nvidia-settings
Installieren Sie das CUDA Toolkit. Dieses Mal werde ich 8.0 verwenden. Hier wird es von wget abgerufen, aber es ist dasselbe wie das Installationsprogramm, das von "Linux> x86_64> Ubuntu> 16.04> deb (local)" von der folgenden URL erhalten wurde.
CUDA Toolkit Download | NVIDIA Developer
$ wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo apt-get update
$ sudo apt-get install -y cuda nvidia-cuda-toolkit
Stellen Sie nun sicher, dass es erfolgreich mit nvidia-smi und nvcc --version installiert wurde.
** Ergänzung: Es scheint, dass Sie direkt von der folgenden URL herunterladen können. ** ** **
$ wget http://developer.download.nvidia.com/compute/redist/cudnn/v5.1/cudnn-8.0-linux-x64-v5.1.tgz
~~ cuDNN muss von der NVIDIA-Site heruntergeladen und auf Ihre AWS-Instanz übertragen werden. ~~
~~ Klicken Sie auf den Download-Button unter der folgenden URL, um der "cuDNN-Softwarelizenzvereinbarung" zuzustimmen, und klicken Sie dann auf "Download cuDNN v5.1 (20. Januar 2017) für CUDA 8.0" "cuDNN v5.1 Library for Linux" (Dateiname: Laden Sie cudnn-8.0-linux-x64-v5.1.tgz) herunter. Anmeldung erforderlich. ~~
NVIDIA cuDNN | NVIDIA Developer
~~ Kopieren Sie die heruntergeladene Datei auf Ihre AWS GPU-Instanz. ~~
# local
$ scp cudnn-8.0-linux-x64-v5.1.tgz aws-gpu-instance:
Entpacken Sie die Dateien und legen Sie sie darin ab.
$ tar zxvf cudnn-8.0-linux-x64-v5.1.tgz
$ sudo mv cuda/lib64/* /usr/local/cuda/lib64/
$ sudo mv cuda/include/* /usr/local/cuda/include/
Fügen Sie der Einstellungsdatei der verwendeten Shell die folgenden Einstellungen hinzu. Diesmal habe ich es zu .bashrc hinzugefügt.
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64"
export CUDA_HOME=/usr/local/cuda
Jetzt ist es Zeit, Tensorflow und Keras einzurichten. Ich werde das Erstellen der Python-Umgebung unterlassen, aber wenn Sie [diesem Artikel] folgen (http://qiita.com/bathtimefish/items/9f62042c7424486f514c), können Sie eine Python3-Umgebung mit pyenv / virtualenv erstellen.
$ pip install tensorflow-gpu
$ pip install keras
Laden Sie den Keras-Quellcode herunter und führen Sie einige der darin enthaltenen Beispiele aus.
$ git clone https://github.com/fchollet/keras.git
$ cd keras/examples
$ python mnist_cnn.py
Versuchen Sie, etwas entsprechend zu verschieben, und wenn GPU-Util mit nvidia-smi arbeitet oder wenn es deutlich schneller als die lokale oder CPU-Nutzungsversion ist, ist es in Ordnung. Danke für deine harte Arbeit.
Eine der Referenz-URLs Wenn Sie wie oben beschrieben installieren, tritt aufgrund des Versionsunterschieds von cuDNN ein Fehler auf. Verwenden Sie v5.1 anstelle von v5.0.
Loaded runtime CuDNN library: 5005 (compatibility version 5000) but source was compiled with 5110 (compatibility version 5100)
Recommended Posts