[PYTHON] Umgebungskonstruktion von Tensorflow und Chainer durch Fenster mit CUDA (mit GPU)

Dieses Mal möchte ich die Umgebungskonstruktion des Deep Learning von Window vorstellen. Ich denke, viele Leute machen sich Sorgen um Tensorflow und Chainer, aber dieses Mal werde ich Ihnen zeigen, wie man beides setzt.

Ich musste die Software viele Male neu installieren, um die Umgebung zu erstellen, und es hat lange gedauert, aber ich hoffe, dass dies alle einfacher macht ~

Vorbereitungen

python 3.5.2 https://www.python.org/downloads/release/python-352/ pip https://bootstrap.pypa.io/get-pip.py Laden Sie pip von hier herunter, öffnen Sie das Admin-Terminal erneut, platzieren Sie die zuvor heruntergeladene Datei "get-pip.py" an einer Stelle, an der Sie sie leicht finden können, und geben Sie diesen Pfad ein

python get-pip.py

Lassen Sie uns pip mit installieren

numpy

pip install numpy

matplotlib

pip install matplotlib

Eine Nvidia-GPU

Nur die hier aufgeführten können CUDA unterstützen

CUDA-capable GPU
CUDA-Enabled Tesla Products
CUDA-Enabled Quadro Products
CUDA-Enabled NVS Products
CUDA-Enabled GeForce Products
CUDA-Enabled TEGRA/Jeston Products

Hier klicken für Details https://developer.nvidia.com/cuda-gpus

Installieren Sie Visual Studio

Von Microsoft entwickelte IDE, praktisch, da sie auf vielen Plattformen verwendet werden kann. Dieses Mal werde ich ** Visual Studio 2015 ** verwenden ** Hinweis: CUDA 8.0 wird von Visual Studio 2017 nicht unterstützt </ font> **

Zuerst https://www.visualstudio.com/ja/downloads/ von hier image Laden Sie das Web-Installationsprogramm herunter. Öffnen Sie das heruntergeladene Installationsprogramm Ich habe die englische Version eingefügt, daher weiß ich nicht, wie ich sie auf Japanisch anzeigen soll, aber es gibt sicherlich zwei Optionen: "automatische Installation" und "manuelle Installation" und hier ** "manuelle Installation" (unten) * *bitte auswählen. mit diesem image

Geben Sie einen Bildschirm wie diesen ein. Überprüfen Sie unbedingt ** Visual C ++ hier ** Ich denke, die VS-IDE ist einfach zu bedienen, und ich habe auch Python-Tools aufgenommen. Warten Sie, bis die Installation abgeschlossen ist

Installieren Sie CUDA + cuDNN

CUDA Zuerst https://developer.nvidia.com/cuda-downloads Laden Sie CUDA hier herunter. Es gibt keine besonderen Vorsichtsmaßnahmen für die Installation von CUDA, Sie können jedoch die automatische Installation auswählen. Wenn Sie Visual Studio 2017 jedoch früher installiert haben, wird hier "Visual Studio kann nicht erkannt werden" angezeigt. ** Installieren Sie Visual Studio 2015 erneut, um es nicht zu ignorieren **. Wenn Sie dies nicht tun, werden Sie in einen Albtraum geraten. T_T

Die Installation dauert lange, also warten wir ...

Am Ende wird der Status von Nsight Studio sicher sehr schwer gemeldet, aber Sie können dies auch ignorieren. Wenn alles erledigt ist, am Terminal

nvcc

Die Installation war erfolgreich, es sei denn, der gefundene Befehlsknoten wurde angezeigt. cuDNN https://developer.nvidia.com/cudnn Hier ist eine Registrierung erforderlich. Wenn Sie sich also registrieren und anmelden, image Ein Bildschirm wie dieser wird angezeigt. Wenn Sie "Ich stimme zu" aktivieren, haben Sie die Wahl. Klicken Sie auf den roten Rahmen, um weitere Listen anzuzeigen, und laden Sie die ** cuDNN v5.1-Bibliothek für Windows 7 ** herunter. ** Wenn Sie Windows 10 verwenden, verwenden Sie bitte Windows 10 ** ** Tensorflow unterstützt cuDNN 6.0 nicht. ** **. Nach dem Herunterladen der Zip-Datei hat sie die Struktur "cuda-> (bin, include, lib)", und in "C: \ Programme \ NVIDIA GPU Computing Toolkit \ CUDA \ 8.0" befindet sich jeweils ein entsprechender Ordner Zum entsprechenden Pfad.

Stellen Sie anschließend sicher, dass die Umgebungsvariable "PATH" "C: \ Programme \ NVIDIA GPU Computing Toolkit \ CUDA \ v8.0 \ bin" enthält.

Installieren Sie Chainer + CuPy

Die Reihenfolge ist immer CuPy-> Chainer Ich habe gerade pip installiert, also hier CuPy

pip install cupy

Wenn Sie bei der Installation bisher nicht vorsichtig sind, wird hier wahrscheinlich ein Fehler auftreten, der jedoch auftritt

error: Unable to find vcvarsall.bat

Dies liegt daran, dass ich C ++ nicht in Visual Studio eingefügt habe. nach

error: command 'cl.exe' failed: No such file or directory

Dies liegt daran, dass die Umgebungsvariable "PATH" nicht den Visual Studio-Pfad enthält. Chainer

pip install chainer

Installieren mit.

Damit ist die Chainer-Installation abgeschlossen, jedoch im Terminal

python -c "import chainer; print(chainer.cuda.available)"

Wenn Sie eingeben und ** True ** erhalten, ist der Chainer gut mit der GPU verbunden.

Tensorflow Es gibt zwei Methoden, aber hier zeige ich Ihnen, wie Sie mit pip installieren.

pip install --upgrade tensorflow-gpu

Oder

pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/windows/gpu/tensorflow_gpu-1.2.1-cp35-cp35m-win_amd64.whl

Überprüfen Sie nach der Installation, ob es mit diesem Code korrekt installiert wurde https://gist.github.com/mrry/ee5dbcfdd045fa48a27d56664411d41c

Ich denke, einige Leute können nicht gut Englisch, aber ich werde es ins Japanische übersetzen und hier einfügen.

tf_selfcheck_jp.py


# Copyright 2015 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ==============================================================================
"""A script for testing that TensorFlow is installed correctly on Windows.
The script will attempt to verify your TensorFlow installation, and print
suggestions for how to fix your installation.
"""

import ctypes
import imp
import sys

def main():
  try:
    import tensorflow as tf
    print("TensorFlow installiert")
    if tf.test.is_built_with_cuda():
      print("Diese Version enthält GPU-Unterstützung\n")
      message = input("'gpu'So überprüfen Sie den Status der GPU.\n Die Prüfung wird durch andere Eingaben abgeschlossen.\n\ninput:")
      if message == "gpu":
        from tensorflow.python.client import device_lib
        print(device_lib.list_local_devices())
    else:
      print("Diese Version bietet keine GPU-Unterstützung")
    sys.exit(0)
  except ImportError:
    print("ERROR: Failed to import the TensorFlow module.")

  candidate_explanation = False

  python_version = sys.version_info.major, sys.version_info.minor
  print("\n- Python version is %d.%d." % python_version)
  if python_version != (3, 5):
    candidate_explanation = True
    print("Verwenden von TensorFlow für Windows"
          "Python version 3.5.Wird benötigt werden")
  
  try:
    _, pathname, _ = imp.find_module("tensorflow")
    print("\n- TensorFlow is installed at: %s" % pathname)
  except ImportError:
    candidate_explanation = False
    print("""
-Es gibt kein Modul namens Tensorflow.`pip install tensorflow`.Lassen Sie uns unter herunterladen""")

  try:
    msvcp140 = ctypes.WinDLL("msvcp140.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'msvcp140.dll'Konnte nicht geladen werden. Microsoft Visual soll diese DLL einschließen
  C++Sie müssen das 2015 Redistributable Update 3 installieren.
  URL:https://www.microsoft.com/en-us/download/details.aspx?id=53587""")

  try:
    cudart64_80 = ctypes.WinDLL("cudart64_80.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'cudart64_80.dll'Konnte nicht geladen werden. Um diese DLL einzuschließen, CUDA 8.Installieren Sie 0
Es ist notwendig, es zu tun.
  URL: https://developer.nvidia.com/cuda-toolkit""")


  try:
    nvcuda = ctypes.WinDLL("nvcuda.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'nvcuda.dll'Konnte nicht geladen werden. Diese DLL ist einfach'C:\Windows\System32'Sollte in sein
Wenn nicht, überprüfen Sie noch einmal, ob Ihre GPU CUDA verwenden kann und ob der Treiber korrekt installiert ist.""")
    
  try:
    cudnn = ctypes.WinDLL("cudnn64_5.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'cudnn64_5.dll'Konnte nicht geladen werden. Um diese DLL einzuschließen, cuDNN 5.Installieren Sie 1
Es ist notwendig, es zu tun. cuDNN wird standardmäßig nicht mit CUDA installiert.
Wenn schon cuDNN 6.Wenn Sie 0 eingeben,'cudnn64_6.dll'Lassen Sie uns andere Dateien löschen und erneut einfügen
  URL:https://developer.nvidia.com/cudnn""")

  if not candidate_explanation:
    print("""
-Wir haben alle für Tensorflow erforderlichen DLLs.
  TensorFlow GitHub page: https://github.com/tensorflow/tensorflow/issues""")

  sys.exit(-1)

if __name__ == "__main__":
  main()

Ich denke, dass die japanische Version die letzte Frage hinzugefügt hat, ob die Installation erfolgreich war, aber geben Sie dort und dort "gpu" ein Wenn Sie die englische Version ausgeführt haben, gehen Sie zum Terminal

python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"

Und schlussendlich

name: GeForce GTX 980M
major: 5 minor: 2 memoryClockRate (GHz) 1.1265
pciBusID 0000:01:00.0
Total memory: 4.00GiB
Free memory: 3.83GiB
2017-07-07 17:18:53.446905: I c:\tf_jenkins\home\workspace\release-win\m\windows
-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:961] DMA: 0
2017-07-07 17:18:53.448085: I c:\tf_jenkins\home\workspace\release-win\m\windows
-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:971] 0:   Y
2017-07-07 17:18:53.449183: I c:\tf_jenkins\home\workspace\release-win\m\windows
-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Creating Tenso
rFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 980M, pci bus id: 0000:01
:00.0)
[name: "/cpu:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 5743970950694766450
, name: "/gpu:0"
device_type: "GPU"
memory_limit: 3798282240
locality {
  bus_id: 1
}
incarnation: 5780768353725891859
physical_device_desc: "device: 0, name: GeForce GTX 980M, pci bus id: 0000:01:00
.0"
]

Wenn Sie diese Ergebnisse unten sehen, ist Ihre Tensorflow-Installation abgeschlossen.

Referenzlink

Umfassend

Aufbau einer auf Linux ausgerichteten Umgebung (ich glaube nicht, dass Sie das sehen können) Installieren Sie cuDNN + chainer unter Windows 10 [Der einfachste Weg, Chainer v1.5 + CUDA + cuDNN unter Windows zu installieren](http://qiita.com/okuta/items/f985b9da6de33a016a75#cuda%E3%81%AE%E7%A2%BA% E8% AA% 8D) Visual Studio vcvarsall.bat needed for python to compile missing from visual studio 2015 ( v 14) Visual studio doesn't have cl.exe [closed] Would cuDNN v6.0 work with TensorFlow currently? CUDA CUDA Installation Guide for Microsoft Windows how to setup cuDnn with theano on Windows 7 64 bit Chainer python pip on Windows - command 'cl.exe' failed

Tensorflow Installing TensorFlow on Windows Error importing tensorflow on windows 10 ( Tensorflow 0.12.0 RC0, python3.5 )

Recommended Posts

Umgebungskonstruktion von Tensorflow und Chainer durch Fenster mit CUDA (mit GPU)
[Ubuntu 18.04] Aufbau einer Tensorflow 2.0.0-GPU-Umgebung
Python-Umgebungskonstruktion und TensorFlow
Aufbau der Ubuntu14.04 + GPU + TensorFlow-Umgebung
Umgebungskonstruktion von Python und OpenCV
Verwenden von Chainer mit CentOS7 [Umgebungskonstruktion]
Erstellen einer Umgebung mit pyenv und pyenv-virtualenv
Aufbau der Python3 TensorFlow-Umgebung (Mac und pyenv virtualenv)
Aufbau einer MacOS 10.11-Umgebung: Powerline mit Anaconda und Dein.vim
Installation von Python 3 und Flask [Zusammenfassung der Umgebungskonstruktion]
Poetry-Virtualenv-Umgebungskonstruktion mit Centos-Sclo-Rh-Python ~ Hinweise
Höchstwahrscheinlich Schätzung des Mittelwerts und der Varianz mit TensorFlow
DNN (Deep Learning) Library: Vergleich von Chainer und TensorFlow (1)
Erstellen Sie eine GPU-Umgebung mit GCP und kaggle offiziellem Image (Docker)
[Memo] Bau einer Cygwin-Umgebung
Umgebungskonstruktion von NumPy und Matplotlib
[Tensorflow] Aufbau der Tensorflow-Umgebung unter Windows 10
Umgebungskonstruktion von Python2 & 3 (OSX)
Lösen Sie das Problem der fehlenden libcudart in Ubuntu 16.04 + CUDA 8.0 + Tensorflow-Umgebung
Erstellen Sie eine Chainer-Umgebung mit CUDA und cuDNN auf einer p2-Instanz
Umgebungskonstruktion von TensorFlow + JupyterNotebook + Matplotlib unter Windows Version Anaconda (Version August 2017)
Aufbau einer LaTeX- und R-Umgebung (ein wenig Python) mit SublimeText3 (Windows)
Beginnen Sie mit Python! ~ ① Umweltbau ~
Beginn des selbst erstellten Betriebssystems 1. Aufbau der Umgebung
Ruby-Umgebungskonstruktion mit aws EC2
Installieren Sie CUDA 8.0 und Chainer unter Ubuntu 16.04
[Django] Memorandum of Environment Construction Procedure
Einfache Jupyter-Umgebungskonstruktion mit Cloud9
Python-Umgebungskonstruktion (Pyenv, Anaconda, Tensorflow)
[TensorFlow] [Keras] Aufbau eines neuronalen Netzwerks mit Keras
Erstellen einer Umgebung für Python3.8 auf einem Mac
Automatisieren Sie die Umgebungserstellung mit ShellScript
Python3-Umgebungskonstruktion mit pyenv-virtualenv (CentOS 7.3)
Python3 TensorFlow für Mac-Umgebungskonstruktion
Aufbau und Grundlagen der Bilderkennungsumgebung
pytorch @ python3.8 Umgebungskonstruktion mit pipenv
Koexistenz von Python2 und 3 mit CircleCI (1.0)
Erstellen einer Umgebung für "Tello_Video" unter Ubuntu
Erstellen einer Umgebung für Flask / MySql / Apache / mod_wsgi / virtualenv mit Redhat7 (Python2.7) November 2020
Ich war süchtig danach, Tensorflow auf einer GPU mit dem NVIDIA-Treiber 440 + CUDA 10.2 auszuführen
Realisieren Sie mit Docker und Vagrant die Umgebungskonstruktion für "Deep Learning von Grund auf neu"
Version vom Juni 2017 zum Erstellen einer Tensorflow / Keras-Umgebung auf einer GPU-Instanz von AWS
Bereiten Sie die Umgebung von Chainer auf der EC2-Spot-Instanz mit AWS Lambda vor
Erstellen Sie DNN-CRF mit Chainer und erkennen Sie den Akkordfortschritt der Musik
Implementieren Sie ein Modell mit Status und Verhalten (3) - Beispiel für die Implementierung durch den Dekorateur
Automatische Veröffentlichung einer Webdesign-Website mit Python + Selen (1) Umgebungskonstruktion