Erstellen Sie mit Python eine Entwicklungsumgebung für maschinelles Lernen

Ich werde das Verfahren zur Einführung in die Entwicklungsumgebung der Anwendung für maschinelles Lernen mit Python erläutern, insbesondere Numpy / Scipy / scikit-learn. Es wird angenommen, dass die Umgebung Python3-basiert ist.

Miniconda Basis (empfohlen)

Da das Kompilieren vieler maschineller Lernpakete schwierig ist, wird empfohlen, eine Umgebung mit "conda" (Miniconda) zu erstellen, in der Sie kompilierte Binärdateien installieren können. Machen.

Zunächst erstellen wir eine Basisumgebung wie Python selbst (unter der Annahme von Python 3), pip, ein Paketverwaltungstool, und virtualenv, das eine virtuelle Umgebung erstellt.

Mac/Linux Verwenden Sie pyenv, um es getrennt vom Standard-Python zu installieren.

# confirm installation
pyenv --version

# show python environments list
pyenv install -l

# install newest miniconda
pyenv install miniconda3-x.x.x

# refresh pyenv
pyenv rehash

# activate installed python environment globally
pyenv global miniconda3-x.x.x

Wenn Sie den in jedem Projekt verwendeten Python wechseln möchten, können Sie ihn mit "pyenv local x.x.x" festlegen. Nach der Installation der neuen Python-Umgebung mit pyenv benötigen Sie "pyenv rehash" (siehe hier). Bitte beachten Sie, dass es leicht zu vergessen ist.

Verwenden Sie nach der Installation von Miniconda "conda", um die virtuelle Umgebung "ml_env" für maschinelles Lernen zu erstellen (unabhängig vom Namen).

conda create -n ml_env numpy scipy scikit-learn matplotlib cython jupyter

Nach der Erstellung aktivieren wir diese virtuelle Umgebung für maschinelles Lernen.

source enable ml_env ... sollte in Ordnung sein, aber bei Verwendung von pyenv scheinen pyenvs enable und condas enable zu schlagen, und die Schale kann fallen. Geben Sie als Problemumgehung die Aktivierung von conda ordnungsgemäß mit dem vollständigen Pfad an. Überprüfen Sie den Speicherort der von conda erstellten virtuellen Umgebung mit "conda info -e" und starten Sie dort "aktivieren" in "bin".

conda info -e
# conda environments:
#
ml_env                   /usr/local/pyenv/versions/miniconda3-3.4.2/envs/ml_env
root                  *  /usr/local/pyenv/versions/miniconda3-3.4.2

source /usr/local/pyenv/versions/miniconda3-3.4.2/envs/ml_env/bin/activate ml_env

Dies ist jedoch problematisch. pyenv local scheint in der Lage zu sein, die von Miniconda erstellte Umgebung anzugeben, daher denke ich, dass pyenv local miniconda 3-3.4.2 / envs / ml_env einfacher ist.

Windows

Verwenden Sie nach der Installation von Miniconda "conda" an der Eingabeaufforderung, um die virtuelle Umgebung "ml_env" für maschinelles Lernen zu erstellen (unabhängig vom Namen).

conda create -n ml_env numpy scipy scikit-learn matplotlib cython jupyter

Nach der Erstellung aktivieren wir diese virtuelle Umgebung für maschinelles Lernen.

activate ml_env

virtualenv-basiert (für diejenigen, die mit Python vertraut sind)

Wenn Sie Miniconda nicht verwenden (wenn Sie virtualenv verwenden), müssen Sie Numpy / Scipy kompilieren. Das Verfahren zum Erstellen dieser Umgebung wird unten erläutert. Es wird davon ausgegangen, dass Python, pip und virtualenv bereits enthalten sind.

Mac Sie müssen gcc / gfortran installieren, installieren Sie also Xcode und Xcode CommandLine Tools.

Das Xcode-Befehlszeilentool kann nach der Installation von Xcode mit dem folgenden Befehl installiert werden.

xcode-select --install

Da gfortran für die Installation von scipy erforderlich ist, werden wir es auch installieren.

GFortranBinariesMacOS

Die Umgebung sollte jetzt bereit sein ... also lassen Sie uns den Betrieb überprüfen. Erstellen Sie einen geeigneten Ordner und erstellen Sie dort eine virtuelle Umgebung für maschinelles Lernen. Verwenden Sie Anforderungen.txt in dieser Übersicht.

mkdir ml_env_test
cd ml_env_test

#Erstellen Sie eine virtuelle Umgebung
virtualenv venv

#Virtuelle Umgebung aktivieren
source venv/bin/activate

#Anforderungen von RAW auf GitHub.Holen Sie sich txt(Sie können es normal kopieren, um eine Textdatei zu erstellen)
curl https://gist.githubusercontent.com/icoxfog417/420ac8eb3fad524ee2d6/raw/ac4122eb7b53b40274d2e7ced224abaa28a383c7/requirements.txt > requirements.txt

#Installieren Sie abhängige Bibliotheken
pip install -r requirements.txt

Die Installation von scipy ist ziemlich langsam und verbraucht Speicher. Wenn Sie also Chrome oder etwas anderes ausführen, wird ein Speicherfehler angezeigt. Lasst uns für die Zusammenstellung beten und ruhig warten.

Wenn die Pip-Installation abgeschlossen ist, ist die Funktionsprüfung abgeschlossen.

Linux(Ubuntu)

Ich denke, es ist in Ordnung, wenn Sie Folgendes erhalten (Ubuntu 14.04).

build-essential
gfortran
libgfortran3
python-dev(python3-dev)
libblas-dev
libatlas-base-dev
cython

Der Befehl zum Erstellen einer virtuellen Umgebung ist der gleiche wie für Mac. Weitere Informationen finden Sie oben.

Windows

Das Kompilieren unter Windows ist äußerst schwierig. Laden Sie daher die kompilierte Binärdatei von hier herunter und installieren Sie sie.

Unofficial Windows Binaries for Python Extension Packages

Installieren Sie die Datei ".whl", die Sie hier erhalten, mit "pip install ". Die erforderlichen Bibliotheken sind in Anforderungen.txt hier aufgeführt.

mkdir ml_env_test
cd ml_env_test

#Erstellen Sie eine virtuelle Umgebung
virtualenv venv

#Virtuelle Umgebung aktivieren
venv\Scripts\activate

# (Von der oben genannten Seite.Löschen Sie die whl-Datei)

# .Installieren Sie die whl-Datei(Unten ist ein Beispiel für Numpy)
pip install numpy‑1.9.2+mkl‑cp34‑none‑win32.whl

Wenn Sie selbst kompilieren möchten, müssen Sie Visual Studio, MinGW / Cygwin usw. installieren, es ist also ein großer Weg. Ich denke, es ist am besten aufzuhören, es sei denn, es gibt etwas Besonderes.

Einzelheiten entnehmen Sie bitte hier.

Verwenden Sie automatische Bautechnik

koudaiii bereitete Docker und shiraco Ansible vor, damit Sie es einfügen können.

koudaiii/ml-handson shiraco/ansible_ipython_machineleaning_bootstrap_conda

Funktionsprüfung

Versuchen Sie nach erfolgreicher Aktivierung der virtuellen Umgebung (plus Pip-Installation für virtualenv), "jupyter notebook" zu starten. Wir haben ein Repository, das scikit-learn erklärt vorbereitet. Überprüfen Sie daher, ob Sie es sehen können.

git clone https://github.com/icoxfog417/scikit-learn-notebook.git
cd scikit-learn-notebook
jupyter notebook

Andere Referenzmaterialien

Recommended Posts

Erstellen Sie mit Python eine Entwicklungsumgebung für maschinelles Lernen
Erstellen Sie eine Python-Umgebung für maschinelles Lernen mit Containern
Aufbau einer KI / maschinellen Lernumgebung mit Python
Erstellen Sie eine maschinelle Lernumgebung
[Python] Erstellen Sie mit Docker eine Django-Entwicklungsumgebung
Erstellen Sie eine Python-Umgebung für maschinelles Lernen unter Mac OS
Erstellen Sie mit macOS sierra eine Python-Lernumgebung für maschinelles Lernen
Erstellen Sie mit VirtualBox und Ubuntu eine Scikit-Lernumgebung für maschinelles Lernen
Erstellen einer Entwicklungsumgebung für die Python2.7-Serie mit Vagrant
Erstellen Sie mit Laragon ganz einfach eine Entwicklungsumgebung
Erstellen Sie mit pyenv eine virtuelle Umgebung für Python
Erstellen Sie mit Neovim eine moderne Python-Umgebung
Erstellen einer Entwicklungsumgebung für maschinelles Lernen
Erstellen einer Windows 7-Umgebung für eine Einführung in das maschinelle Lernen mit Python
Erstellen Sie eine Entwicklungsumgebung für die C-Sprache mit einem Container
Erstellen Sie eine Python-Entwicklungsumgebung mit Visual Studio Code
Erstellen Sie eine Python-Umgebung mit ansible auf centos6
Erstellen Sie mit Sublime Text3 eine Python3-Build-Umgebung
Erstellen Sie eine Python-Entwicklungsumgebung auf Ihrem Mac
Erstellen Sie mit der Doker Toolbox eine Django-Entwicklungsumgebung
Erstellen einer Python-Umgebung mit OSX Elcapitan
Erstellen Sie mit IntelliJ schnell eine Python Django-Umgebung
Erstellen Sie eine Python-Entwicklungsumgebung auf Raspberry Pi
Erstellen Sie eine Python-Ausführungsumgebung mit VS-Code
Holen Sie sich mit Poetry eine schnelle Python-Entwicklungsumgebung
Maschinelles Lernen mit Python! Vorbereitung
Erstellen Sie eine Python3-Umgebung mit Ubuntu 16.04
Erstellen Sie mit direnv eine Python-Umgebung
[ev3dev × Python] Aufbau einer ev3dev-Entwicklungsumgebung
Erstellen Sie die Python-Umgebung offline
Beginnend mit maschinellem Python-Lernen
Ich habe versucht, eine Mac Python-Entwicklungsumgebung mit pythonz + direnv zu erstellen
Lernverlauf zur Teilnahme an der Entwicklung von Teamanwendungen mit Python ~ Build Docker / Django / Nginx / MariaDB-Umgebung ~
Erstellen Sie eine GVim-basierte Python-Entwicklungsumgebung unter Windows 10 (3) GVim8.0 und Python3.6
Erstellen Sie mit Python eine interaktive Umgebung für maschinelles Lernen
Führen Sie eine Pipeline für maschinelles Lernen mit Cloud Dataflow (Python) aus.
Erstellen Sie eine virtuelle Python-Umgebung mit virtualenv und virtualenvwrapper
Erstellen Sie mit pyenv-virtualenv eine Python-Umgebung für jedes Verzeichnis
Erstellen Sie eine Python-Entwicklungsumgebung mit Vagrant + Ansible + Fabric
Erstellen Sie eine GVim-basierte Python-Entwicklungsumgebung unter Windows 10 (1)
Erstellen Sie eine Python-Entwicklungsumgebung unter Mac OS X.
Erstellen Sie eine virtuelle Python-Umgebung mit virtualenv und virtualenvwrapper
Erstellen Sie eine Python-Entwicklungsumgebung mit pyenv unter MacOS
Erstellen Sie eine Entwicklungsumgebung mit Poetry Django Docker Pycharm
Konstruktionsnotiz für eine maschinelle Lernumgebung von Python
Richten Sie mit Sublime Text 2 eine Python-Entwicklungsumgebung ein
Erstellen Sie mit Winsows 10 eine maschinelle Lernumgebung von Grund auf neu
Windows10 (x64) Erstellen Sie nativ eine maschinelle Lernumgebung
Erstellen Sie eine lokale Entwicklungsumgebung mit WSL + Docker Desktop für Windows + Docker-Lambda + Python
Maschinelles Lernen mit Python (1) Gesamtklassifizierung
Erstellen Sie eine MySQL + Python-Umgebung mit Docker
Erstellen Sie eine virtuelle Umgebung mit Python!
Erstellen einer virtuellen Umgebung mit Python 3
Erstellen Sie eine Webanwendung mit Django
Erstellen Sie eine Python3-Umgebung unter CentOS7
Richten Sie mit Atom eine Python-Entwicklungsumgebung ein
"Scraping & maschinelles Lernen mit Python" Lernnotiz
Anwendungsentwicklung mit Docker + Python + Flask
Anwendungsentwicklung mit Azure Machine Learning
Erstellen Sie eine maschinelle Lernumgebung auf einem Mac (pyenv, deeplearning, opencv).