[PYTHON] Die Geschichte, wie theano mit TSUBAME 2.0 verwaltet wurde

abstract Es ist ein Datensatz, bis theano auf TSUBAME 2.0 ausgeführt wird.

In TSUBAME 2.0 müssen Sie alle Python-bezogenen Elemente selbst erstellen. Ich habe numpy, scipy, theano unter Bezugnahme auf [diese Site] installiert (http://www.kyogoku.biz/docs/TSUBAME#numpy.2C_scipy_.2BMG4wpDDzMLkwyDD8MOs-), aber scipy.test () ist fehlgeschlagen. Und das hat auch nicht funktioniert.

2016/7/25 postscript Diese Seite schien zu verschwinden, also postscript. Registrieren Sie zunächst den öffentlichen Schlüssel im Portal. Setze ssh mit

~/.ssh/config


Host login-t2.g.gsic.titech.ac.jp                                            
    HostName login-t2.g.gsic.titech.ac.jp                                      
    User USER_ID                                                              
    IdentityFile WHERE_OF_PUBLIC_KEY                                                 
    RemoteForward 3128 proxy.noc.titech.ac.jp:3128

Auf der TSUBAME-Seite

~/.bashrc


export http_proxy="http://localhost:3128"                                      
export https_proxy="http://localhost:3128"                                     
export ftp_proxy="http://localhost:3128"

Ende des Postskripts

Aufgrund von Versuch und Irrtum zwang die Installation von numpy mit OpenBLAS theano, ordnungsgemäß zu funktionieren.

[Einführung]

[Fehler]

Fahren Sie zunächst mit 3.4 (Installation von matplotlib) auf der obigen Site fort.

OpenBLAS

cd OpenBLAS
make BINARY=64 USE_THREAD=1 FC=gfortran
make PREFIX=~/.local/OpenBLAS/ install 

Gib es in den Pfad

export LIBRARY_PATH=~/.local/lib:~/.local/OpenBLAS/lib:$LIBRARY_PATH
export LD_LIBRARY_PATH=~/.local/lib:~/.local/OpenBLAS/lib:$LD_LIBRARY_PATH
export PATH=~/.local/bin:~/.local/OpenBLAS/bin:$PATH
export BLAS=/home/....../.local/OpenBLAS/lib/libopenblas.a
export LAPACK=/home/....../.local/OpenBLAS/lib/libopenblas.a

numpy

cd numpy
cp site.cfg.example site.cfg

Hier und [hier](http://osdf.github.io/blog/numpyscipy-with-openblas- Schreiben Sie für-ubuntu-1204-second-try.html) site.cfg wie folgt (im Folgenden schreiben Sie PATH bitte entsprechend um).

site.cfg


[default]
library_dirs = /home/....../.local/OpenBLAS/lib

[openblas]
libraries = openblas
library_dirs = /home/....../.local/OpenBLAS/lib
include_dirs = /home/....../.local/OpenBLAS/include

[atlas]
atlas_libs = openblas
library_dirs = /home/....../.local/OpenBLAS/lib

[lapack]
lapack_libs = openblas
library_dirs = /home/....../.local/OpenBLAS/lib

Wenn Atlas und Lapack nicht gesetzt sind, tritt beim Testen der dot () - Funktion mit scipy ein Segfo auf.

Überprüfen Sie, ob es richtig eingestellt wurde

python setup.py config

Wenn openblas, atlas, lapack als GEFUNDEN angezeigt wird, fahren Sie mit der Installation fort

python setup.py build
python setup.py install
cd ~
python -c "import numpy;numpy.test(verbose=10)"

scipy Es scheint nicht nötig zu sein, etwas gegen scipy zu unternehmen

cd scipy
python setup.py build
python setup.py install
cd ~
python -c "import scipy;scipy.test(verbose=10)"

Theano

cd theano
python setup.py develop --prefix=~/.local
python setup.py install

Erstellen Sie ~ / .theanorc wie folgt

.theanorc


[global]
floatX = float32
device = gpu
openmp = True


[nvcc]
fastmath = True

[blas]
ldflags =  -lopenblas

[cuda]
root = /usr/apps.sp3/cuda/6.0/
[gcc]
cxxflags = -I/usr/apps.sp3/mpi/openmpi/1.8.2/g4.3.4_cuda6.0/include -I/usr/apps.sp3/mpi/openmpi/1.8.2/g4.3.4_cuda6.0/include/openmpi -L/usr/apps.sp3/mpi/openmpi/1.8.2/g4.3.4_cuda6.0/lib -lmpi -lmpi_cxx

Führen Sie dann Ihr Lieblingsprogramm aus. Wenn das Beispiel von DeepLearningTutorials funktioniert, frage ich mich, ob es verwaltet werden kann. ..

Recommended Posts

Die Geschichte, wie theano mit TSUBAME 2.0 verwaltet wurde
Eine Geschichte über den Umgang mit dem CORS-Problem
Eine Geschichte über maschinelles Lernen mit Kyasuket
Eine Geschichte über die Implementierung eines Anmeldebildschirms mit Django
Geschichte der Verwendung von Resonas Software-Token mit 1Password
Eine Geschichte über die Vorhersage des Wechselkurses mit Deep Learning
Die Geschichte, mit Python eine Hanon-ähnliche Partitur zu machen
Eine Geschichte über das Ausprobieren eines (Golang +) Python-Monorepo mit Bazel
Eine Geschichte darüber, wie Windows 10-Benutzer eine Umgebung für die Verwendung von OpenCV3 mit Python 3.5 erstellt haben
Wie man mit Theano besetzt
Eine Geschichte darüber, wie man einen relativen Pfad in Python angibt.
Eine Geschichte über den Wettbewerb mit einem Freund in Othello AI Preparation
Eine Geschichte über die Installation von matplotlib mit pip mit einem Fehler
Eine Geschichte über einen Amateur, der mit Python (Kivy) einen Blockbruch macht ②
Eine Geschichte über einen Amateur, der mit Python (Kivy) einen Blockbruch macht ①
Eine Geschichte über das zufällige Erstellen eines kurzen Songs mit Sudachi Py
Eine Geschichte über einen Python-Anfänger, der mit dem No-Modul'http.server 'feststeckt.
Eine erfrischende Geschichte über Slice in Python
Eine Geschichte über das Hinzufügen einer REST-API zu einem mit Python erstellten Daemon
Eine launische Geschichte über Slice in Python
Eine Geschichte über die Entwicklung eines weichen Typs mit Firestore + Python + OpenAPI + Typescript
Die Geschichte der Verwendung von Python reduziert
[Kleine Geschichte] So speichern Sie Matplotlib-Diagramme in einem Stapel mit Jupyter
Überlegen Sie, wie Sie einen Filter mit den Shotgun API-Contact-Versionen schreiben
Wie wäre es mit einer virtuellen Umgebung mit Anaconda und einer Pip-Installation?
Eine Geschichte über die Automatisierung von Online-Mahjong (Jakutama) mit OpenCV und maschinellem Lernen
Eine Geschichte, die ich süchtig danach war, eine Video-URL mit Tweepy zu bekommen
Eine Geschichte über einen magischen Umbau, der Lubuntu in ein Chromebook bringt
So fügen Sie ein Paket mit PyCharm hinzu
Eine Geschichte über Python Pop und Append
Wie wäre es mit einer Polaritätsanalyse mit hinzugefügtem "Auftrag"?
Eine Geschichte, die ich als Programmieranfänger mit GeoDjango erstellt habe
[Anmerkung] Eine Geschichte darüber, dass es nicht möglich ist, den Proxy mit pip zu durchbrechen
Eine Geschichte zum Erstellen einer IDE-Umgebung mit WinPython unter einem alten Windows-Betriebssystem.
Ich habe versucht, einen x86-Bootloader zu erstellen, der vmlinux mit Rust booten kann
Eine Geschichte, der ich nach der SFTP-Kommunikation mit Python verfallen war
Freigeben einer virtuellen Umgebung [Informationen zu den Anforderungen.txt]
Eine Geschichte über einfaches maschinelles Lernen mit TensorFlow
So senden Sie eine Nachricht mit Curl an LINE
So zeichnen Sie ein 2-Achsen-Diagramm mit Pyplot
So entwickeln Sie eine Cart-App mit Django
So erstellen Sie ein Wörterbuch mit einer hierarchischen Struktur.
Eine Geschichte über den Betrieb einer GCP-Instanz von Discord
Eine Geschichte, die von Go's globalen Variablen und ihrem Umfang abhängig ist
Eine Geschichte über den Umgang mit Binärdaten in Python
Die Geschichte, Artikel-verknüpfte Anzeigen auf Jubatus anzeigen zu wollen
Eine Geschichte über das Ausführen von Python auf PHP auf Heroku
Eine Geschichte voller absoluter Werte von numpy.ndarray
Verfahren zur Erstellung plattformübergreifender Apps mit kivy
Modifikatoren zur Überprüfung von Memos mit MaxPlus
Eine Geschichte über das Ändern von Python und das Hinzufügen von Funktionen
Geschichte rund um die Datenanalyse durch maschinelles Lernen
Ein unwahrscheinliches Missverständnis darüber, wie ein Handler für eine mit Lambda hochgeladene Zip angegeben wird
Eine Geschichte über einen Fehler beim Laden eines TensorFlow-Modells, das lokal mit Google Colab erstellt wurde