[PYTHON] Construction d'environnement de Tensorflow et Chainer par Window avec CUDA (avec GPU)

Cette fois, je voudrais vous présenter la construction d'environnement du deep learning par Window. Je pense que beaucoup de gens s'inquiètent pour Tensorflow et Chainer, mais cette fois je vais vous montrer comment mettre les deux.

J'ai réinstallé le logiciel plusieurs fois pour créer l'environnement, et cela m'a pris du temps, mais j'espère que cela facilitera tout le monde ~

Préparation préalable

python 3.5.2 https://www.python.org/downloads/release/python-352/ pip https://bootstrap.pypa.io/get-pip.py Téléchargez pip à partir d'ici, ouvrez à nouveau le terminal d'administration, mettez le get-pip.py que vous avez téléchargé plus tôt dans un endroit où vous pouvez facilement le trouver, et entrez ce chemin

python get-pip.py

Installons pip avec

numpy

pip install numpy

matplotlib

pip install matplotlib

Un GPU Nvidia

Seuls ceux répertoriés ici peuvent prendre en charge CUDA

CUDA-capable GPU
CUDA-Enabled Tesla Products
CUDA-Enabled Quadro Products
CUDA-Enabled NVS Products
CUDA-Enabled GeForce Products
CUDA-Enabled TEGRA/Jeston Products

Cliquez ici pour plus de détails https://developer.nvidia.com/cuda-gpus

Installez Visual Studio

IDE développé par Microsoft, pratique car il peut être utilisé sur de nombreuses plateformes. Cette fois, j'utiliserai ** Visual Studio 2015 ** ** Remarque: CUDA 8.0 n'est pas pris en charge par Visual Studio 2017 </ font> **

Première https://www.visualstudio.com/ja/downloads/ d'ici image Téléchargez le programme d'installation Web. Ouvrez le programme d'installation téléchargé J'ai mis la version anglaise, donc je ne sais pas comment l'afficher en japonais, mais il y a certainement deux options, "installation automatique" et "installation manuelle", et ici ** "installation manuelle" (en bas) * *Choisissez s'il vous plaît. avec ça image

Entrez dans un écran comme celui-ci. Assurez-vous de vérifier ** Visual C ++ ici ** Je pense que VS IDE est facile à utiliser et j'ai également inclus des outils Python. Attendez que l'installation soit terminée

Installez CUDA + cuDNN

CUDA Première https://developer.nvidia.com/cuda-downloads Téléchargez CUDA à partir d'ici. Il n'y a pas de précautions particulières pour l'installation de CUDA, mais vous pouvez choisir l'installation automatique. Cependant, si vous avez installé Visual Studio 2017 plus tôt, vous verrez «Visual Studio ne peut pas être détecté» ici, donc ** Réinstallez Visual Studio 2015 afin de ne pas l'ignorer **. Sinon, vous vous retrouverez dans un cauchemar. T_T

L'installation prend beaucoup de temps, alors attendons ...

À la fin, je suis sûr que cela rapportera très fort l'état de Nsight Studio, mais vous pouvez également l'ignorer. Quand tout est fait, au terminal

nvcc

L'installation a réussi à moins que le nœud de commande trouvé n'apparaisse. cuDNN https://developer.nvidia.com/cudnn L'inscription est obligatoire ici, donc si vous vous inscrivez et vous connectez, image Un écran comme celui-ci apparaît. Si vous cochez «J'accepte», vous aurez le choix. Cliquez sur le cadre rouge pour ouvrir une liste et télécharger la bibliothèque ** cuDNN v5.1 pour Windows 7 **. ** Si vous utilisez Windows 10, veuillez utiliser Windows 10 ** ** Tensorflow ne prend pas en charge cuDNN 6.0. ** ** Après avoir téléchargé le fichier zip, il a une structure de cuda-> (bin, include, lib), et il y a un dossier correspondant dans C: \ Program Files \ NVIDIA GPU Computing Toolkit \ CUDA \ 8.0, donc chaque Vers le chemin approprié.

Une fois que cela est fait, assurez-vous que la variable d'environnement PATH contient C: \ Program Files \ NVIDIA GPU Computing Toolkit \ CUDA \ v8.0 \ bin.

Installer Chainer + CuPy

La commande est toujours CuPy-> Chainer Je viens d'installer pip, donc ici CuPy

pip install cupy

Si vous ne faites pas attention à l'installation jusqu'à présent, je pense qu'un bug apparaîtra ici, mais l'un est

error: Unable to find vcvarsall.bat

C'est parce que je n'ai pas mis C ++ dans Visual Studio. après

error: command 'cl.exe' failed: No such file or directory

Cela est dû au fait que la variable d'environnement PATH ne contient pas le chemin d'accès de Visual Studio. Chainer

pip install chainer

Installez avec.

Ceci termine l'installation de Chainer, mais dans le terminal

python -c "import chainer; print(chainer.cuda.available)"

Si vous entrez et obtenez ** True **, le chainer est bien connecté au GPU.

Tensorflow Il existe deux méthodes, mais ici je vais vous montrer comment installer avec pip.

pip install --upgrade tensorflow-gpu

Ou

pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/windows/gpu/tensorflow_gpu-1.2.1-cp35-cp35m-win_amd64.whl

Après l'installation avec ceci, vérifions s'il a été installé correctement avec ce code https://gist.github.com/mrry/ee5dbcfdd045fa48a27d56664411d41c

Je pense que certaines personnes ne sont pas douées en anglais, mais je vais le traduire en japonais et le coller ici.

tf_selfcheck_jp.py


# Copyright 2015 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ==============================================================================
"""A script for testing that TensorFlow is installed correctly on Windows.
The script will attempt to verify your TensorFlow installation, and print
suggestions for how to fix your installation.
"""

import ctypes
import imp
import sys

def main():
  try:
    import tensorflow as tf
    print("TensorFlow installé")
    if tf.test.is_built_with_cuda():
      print("Cette version inclut le support GPU\n")
      message = input("'gpu'Pour vérifier l'état du GPU.\n Le contrôle sera complété par une autre entrée.\n\ninput:")
      if message == "gpu":
        from tensorflow.python.client import device_lib
        print(device_lib.list_local_devices())
    else:
      print("Cette version n'inclut pas le support GPU")
    sys.exit(0)
  except ImportError:
    print("ERROR: Failed to import the TensorFlow module.")

  candidate_explanation = False

  python_version = sys.version_info.major, sys.version_info.minor
  print("\n- Python version is %d.%d." % python_version)
  if python_version != (3, 5):
    candidate_explanation = True
    print("Utilisation de TensorFlow pour Windows"
          "Python version 3.5.Sera requis")
  
  try:
    _, pathname, _ = imp.find_module("tensorflow")
    print("\n- TensorFlow is installed at: %s" % pathname)
  except ImportError:
    candidate_explanation = False
    print("""
-Il n'y a pas de module appelé Tensorflow.`pip install tensorflow`.Téléchargeons sur""")

  try:
    msvcp140 = ctypes.WinDLL("msvcp140.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'msvcp140.dll'Impossible de charger. Microsoft Visual pour inclure cette DLL
  C++Vous devez installer la mise à jour redistribuable 3 de 2015.
  URL:https://www.microsoft.com/en-us/download/details.aspx?id=53587""")

  try:
    cudart64_80 = ctypes.WinDLL("cudart64_80.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'cudart64_80.dll'Impossible de charger. Pour inclure cette DLL, CUDA 8.Installer 0
Il faut le faire.
  URL: https://developer.nvidia.com/cuda-toolkit""")


  try:
    nvcuda = ctypes.WinDLL("nvcuda.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'nvcuda.dll'Impossible de charger. Cette DLL est basique'C:\Windows\System32'Devrait être dans
Sinon, vérifiez que votre GPU peut utiliser CUDA et que le pilote est correctement installé.""")
    
  try:
    cudnn = ctypes.WinDLL("cudnn64_5.dll")
  except OSError:
    candidate_explanation = True
    print("""
- 'cudnn64_5.dll'Impossible de charger. Pour inclure cette DLL, cuDNN 5.Installer 1
Il faut le faire. cuDNN n'est pas installé avec CUDA par défaut.
Si déjà cuDNN 6.Si vous entrez 0,'cudnn64_6.dll'Supprimons et recollons avec d'autres fichiers
  URL:https://developer.nvidia.com/cudnn""")

  if not candidate_explanation:
    print("""
-Nous avons toutes les DLL requises pour Tensorflow.
  TensorFlow GitHub page: https://github.com/tensorflow/tensorflow/issues""")

  sys.exit(-1)

if __name__ == "__main__":
  main()

Je pense que la version japonaise a ajouté la dernière question demandée si l'installation a réussi, mais entrez gpu ici et De plus, si vous avez exécuté la version anglaise, accédez au terminal

python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"

et enfin

name: GeForce GTX 980M
major: 5 minor: 2 memoryClockRate (GHz) 1.1265
pciBusID 0000:01:00.0
Total memory: 4.00GiB
Free memory: 3.83GiB
2017-07-07 17:18:53.446905: I c:\tf_jenkins\home\workspace\release-win\m\windows
-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:961] DMA: 0
2017-07-07 17:18:53.448085: I c:\tf_jenkins\home\workspace\release-win\m\windows
-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:971] 0:   Y
2017-07-07 17:18:53.449183: I c:\tf_jenkins\home\workspace\release-win\m\windows
-gpu\py\35\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Creating Tenso
rFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 980M, pci bus id: 0000:01
:00.0)
[name: "/cpu:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 5743970950694766450
, name: "/gpu:0"
device_type: "GPU"
memory_limit: 3798282240
locality {
  bus_id: 1
}
incarnation: 5780768353725891859
physical_device_desc: "device: 0, name: GeForce GTX 980M, pci bus id: 0000:01:00
.0"
]

Si vous voyez ces résultats en bas, votre installation de Tensorflow est terminée.

Lien de référence

Complet

Construction d'environnement centrée sur Linux (je ne pense pas que vous puissiez voir ça) Installer le chainer cuDNN + sous Windows 10 [Le moyen le plus simple de mettre Chainer v1.5 + CUDA + cuDNN sous Windows](http://qiita.com/okuta/items/f985b9da6de33a016a75#cuda%E3%81%AE%E7%A2%BA% E8% AA% 8D) Visual Studio vcvarsall.bat needed for python to compile missing from visual studio 2015 ( v 14) Visual studio doesn't have cl.exe [closed] Would cuDNN v6.0 work with TensorFlow currently? CUDA CUDA Installation Guide for Microsoft Windows how to setup cuDnn with theano on Windows 7 64 bit Chainer python pip on Windows - command 'cl.exe' failed

Tensorflow Installing TensorFlow on Windows Error importing tensorflow on windows 10 ( Tensorflow 0.12.0 RC0, python3.5 )

Recommended Posts

Construction d'environnement de Tensorflow et Chainer par Window avec CUDA (avec GPU)
[Ubuntu 18.04] Construction de l'environnement Tensorflow 2.0.0-GPU
Construction d'environnement Python et TensorFlow
Construction de l'environnement Ubuntu14.04 + GPU + TensorFlow
Construction d'environnement de python et opencv
Utilisation de Chainer avec CentOS7 [Construction de l'environnement]
Créer un environnement avec pyenv et pyenv-virtualenv
Construction de l'environnement Python3 TensorFlow (Mac et pyenv virtualenv)
Construction de l'environnement MacOS 10.11: Powerline avec Anaconda et Dein.vim
Installation de Python 3 et Flask [Résumé de la construction de l'environnement]
Construction d'environnement Poetry-virtualenv avec python de centos-sclo-rh ~ Notes
Estimation la plus probable de la moyenne et de la variance avec TensorFlow
Bibliothèque DNN (Deep Learning): Comparaison de chainer et TensorFlow (1)
Créez un environnement GPU avec GCP et l'image officielle de Kaggle (docker)
[Memo] Construction de l'environnement cygwin
Construction de l'environnement de NumPy et matplotlib
[Tensorflow] Construction de l'environnement Tensorflow sous Windows 10
Construction de l'environnement de python2 & 3 (OSX)
Résoudre le problème de la libcudart manquante dans Ubuntu 16.04 + CUDA 8.0 + environnement Tensorflow
Créer un environnement Chainer à l'aide de CUDA et cuDNN sur une instance p2
Construction de l'environnement de TensorFlow + JupyterNotebook + Matplotlib sur la version Windows Anaconda (version d'août 2017)
Construction de l'environnement LaTeX et R (un peu Python) avec SublimeText3 (Windows)
Commencez avec Python! ~ ① Construction de l'environnement ~
Début de l'auto-construction OS 1. Construction de l'environnement
Construction de l'environnement Ruby avec AWS EC2
Installez CUDA 8.0 et Chainer sur Ubuntu 16.04
[Django] Mémorandum de procédure de construction d'environnement
Construction d'un environnement Jupyter facile avec Cloud9
Construction d'environnement Python (pyenv, anaconda, tensorflow)
[TensorFlow] [Keras] Construction d'un réseau neuronal avec Keras
Construire un environnement pour python3.8 sur Mac
Automatisez la construction d'environnement avec ShellScript
Construction de l'environnement Python3 avec pyenv-virtualenv (CentOS 7.3)
Construction de l'environnement Python3 TensorFlow pour Mac
Construction et bases de l'environnement de reconnaissance d'image
Construction de l'environnement pytorch @ python3.8 avec pipenv
Coexistence de Python2 et 3 avec CircleCI (1.0)
Créer un environnement pour "Tello_Video" sur Ubuntu
Création d'un environnement pour Flask / MySql / Apache / mod_wsgi / virtualenv avec Redhat7 (Python2.7) Novembre 2020
J'étais accro à l'exécution de tensorflow sur GPU avec le pilote NVIDIA 440 + CUDA 10.2
Réaliser la construction d'environnement pour "Deep Learning from scratch" avec docker et Vagrant
Version de juin 2017 pour créer un environnement Tensorflow / Keras sur une instance GPU d'AWS
Préparer l'environnement de Chainer sur l'instance spot EC2 avec AWS Lambda
Créez DNN-CRF avec Chainer et reconnaissez la progression des accords de la musique
Implémenter un modèle avec état et comportement (3) - Exemple d'implémentation par décorateur
Publication automatique du site Web de conception de site Gary avec python + sélénium (1) Construction d'environnement