[PYTHON] Führen Sie den Tensorflow der GPU-Version vor Ort in AWS EC2 aus

Ubuntu 16.04 LTS + CUDA + cuDNN + python3.6 + tensorflow-gpu

AMI: Ubuntu 16.04 LTS Ich dachte, es wäre eine Spot-Instanz, um EC2 billig zu verwenden, aber ich kann NVIDIA AMI nicht auswählen, wenn CUDA für die Spot-Instanz eingerichtet ist: schreien: Anscheinend kann ich es auf meinem eigenen Betriebssystem nicht auswählen. Es scheint, dass Sie die Umgebung mit erstellen müssen. Sobald Sie die Umgebung erstellt haben, können Sie sie wiederverwenden. Daher fasse ich das Verfahren zum Ausführen des Tensorflows der GPU-Version zusammen. Die zu erstellende Umgebung ist EC2-Instanzerstellung EC2-Konsole Erstellen Sie eine Instanz mit "Request Spot Instance" von. * Instanztyp: ** p2.large **
EBS-Lautstärke: Die Standardeinstellung ist 8 GB. Erhöhen Sie sie daher entsprechend. 32 GB oder so.

Der Instanztyp kann p2.8xlarge oder p2.16xlarge sein. Sie können ihn jedoch mit p2.large einrichten und während des Lernens auf 8xlarge oder 16xlarge wechseln.

Aktualisieren Sie beim Start der EC2-Instanz jedes Modul auf die neueste Version und installieren Sie die minimale Entwicklungsumgebung.

$ sudo apt-get update
$ sudo apt-get upgrade
$ sudo apt-get install libffi-dev libssl-dev gcc make

Bereiten Sie die Python-Umgebung mit pyenv vor

Zuerst git Klon pyenv.

$ git clone https://github.com/yyuu/pyenv.git ~/.pyenv

Folgendes wurde zu .bashrc hinzugefügt.

PYENV_ROOT=$HOME/.pyenv
PATH=$PYENV_ROOT/bin:$PYENV_ROOT/shims:$PATH
eval "$(pyenv init -)"

Laden Sie die bearbeitete .bashrc.

$ source ~/.bashrc

Installieren Sie als Nächstes Python. Dieses Mal installieren Sie Python 3.6.

$ pyenv install --list|grep 3.6
  3.3.6
  3.6.0
  3.6-dev
  3.6.1
  3.6.2rc1
$ pyenv install 3.6.1
$ pyenv global 3.6.1
$ which pip3
/home/ubuntu/.pyenv/shims/pip3  #Bestätigen Sie, dass Pyenv verwendet wird
$ pip3 install aws  #Ich werde es in setzen

CUDA-Installation

Informationen zum Herunterladen der Deb-Datei finden Sie auf der CUDA-Download-Site (https://developer.nvidia.com/cuda-downloads).

OS:Linux,
Architecture: x86_64,
Distribution:Ubuntu,
Version: 16.04,
Installer Type: dev(local)

Sobald Sie die URL kennen, holen Sie sie sich mit wget und installieren Sie sie.

$ wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo apt-get update
$ sudo apt-get install cuda

CuDNN installieren

Sie können * cuDNN v6.0 Library for Linux * von der cuDNN-Download-Site herunterladen und installieren, jedoch nachdem Sie sich als Benutzer registriert und angemeldet haben Es kann nur von der Seite von heruntergeladen werden, und es kann nicht einfach heruntergeladen werden, indem die URL mit wget angegeben wird. Ich habe beschlossen, es einmal auf einem Mac zu speichern und es mit scp an EC2 zu senden.

#Kopieren Sie die Entwicklungsdatei mit scp vom lokalen Mac auf EC2.Ändern Sie den Pfad und die IP der PEM-Datei entsprechend.
$ scp -i aws.pem ~/Downloads/cudnn-8.0-linux-x64-v6.0.tgz [email protected]:~/

$ tar xzf cudnn-8.0-linux-x64-v6.0.tgz
$ sudo cp -a cuda/lib64/* /usr/local/lib/
$ sudo cp -a cuda/include/* /usr/local/include/
$ sudo ldconfig

Tensorflow installieren

Wenn die CPU-Version von Tensorflow enthalten ist, deinstallieren Sie sie vor der Installation der GPU-Version. Fügen Sie auch häufig verwendete Bibliotheken hinzu.

$ sudo apt-get install libcupti-dev
$ pip3 uninstall tensorflow
$ pip3 install tensorflow-gpu
$ pip3 install keras sklearn matplotlib scipy librosa

Bewegen Sie die Probe und überprüfen Sie die Funktion

Dieses Mal habe ich die Operation mit mnist-mlp von Keras überprüft. Ich habe eine Probe mit Git-Klon bekommen und sie ausgeführt.

$ git clone https://github.com/fchollet/keras.git
$ cd keras/examples
$ $ python mnist_mlp.py 
Using TensorFlow backend.
...
Test loss: 0.118156189926
Test accuracy: 0.9811
$

Umgezogen: Sonnenbrille: