Maschinelles Lernen mit Docker (40) mit Anaconda (40) "Hands-On Data Science und Python Machine Learning" von Frank Kane
1. Für diejenigen, die es sofort verwenden möchten (sobald)
「Hands-On Data Science and Python Machine Learning」By Frank Kane
http://shop.oreilly.com/product/9781787280748.do
docker Bitte installieren Sie Docker und starten Sie Docker unter Windows und Mac. Unter Windows wird Docker möglicherweise nur gestartet, wenn Intel Virtualization in Bios aktiviert ist. Außerdem können Sicherheitswarnungen angezeigt werden.
docker run
$ docker pull kaizenjapan/anaconda-frank
$ docker run -it -p 8888:8888 kaizenjapan/anaconda-frank /bin/bash
In der Shell-Sitzung unten (Basis-) root @ f19e2f06eabb: / # ist eine Eingabeaufforderung. Tatsächlich kann der Nummernteil unterschiedlich sein. Geben Sie die rechte Seite von # in diese Zeile ein. Die anderen Zeilen werden ausgegeben. Wenn es Fehler oder Unterschiede in der Ausgabe gibt, teilen Sie uns dies bitte in den Kommentaren mit. Navigieren Sie zu dem Ordner für jedes Kapitel.
Wenn die Anzeige in Docker und die Shell des Betriebssystems, mit dem Docker gestartet wurde, ähnlich sind, können Sie einen Fehler machen, welches Sie untersuchen. Achten Sie auf die Eingabeaufforderung des Dockers.
Dateifreigabe oder Kopieren
Geben Sie auf dem Betriebssystem, auf dem Docker und Docker gestartet wurden, die Datei frei oder kopieren Sie sie, um die generierte Datei im Browser anzuzeigen. Die URL der Methode wird in der Referenzspalte beschrieben.
Ich suche nach einer guten Möglichkeit, die Festplatten des Betriebssystems zu organisieren, mit dem Docker gestartet wurde. Einige Methoden haben von Anfang an gemeinsame Einstellungen.
Beim Kopieren wurde der Befehl auf der Betriebssystemseite ausgeführt, mit dem Docker gestartet wurde. Ersetzen Sie durch Ihre Docker-Nummer. Ich habe die kopierte Datei im Browser angezeigt und den Inhalt überprüft.
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# python SparkDecisionTree.py
Traceback (most recent call last):
File "SparkDecisionTree.py", line 1, in <module>
from pyspark.mllib.regression import LabeledPoint
ImportError: No module named pyspark.mllib.regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# pip install pyspark
bash: pip: command not found
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# find / -name pip -print
/root/anaconda3/bin/pip
/root/anaconda3/lib/python3.7/site-packages/pip
/root/anaconda3/pkgs/pip-10.0.1-py37_0/bin/pip
/root/anaconda3/pkgs/pip-10.0.1-py37_0/lib/python3.7/site-packages/pip
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install pyspark
Collecting pyspark
Downloading https://files.pythonhosted.org/packages/5e/cb/d8ff49ba885e2c88b8cf2967edd84235ffa9ac301bffef657dfa5605a112/pyspark-2.3.2.tar.gz (211.9MB)
100% |████████████████████████████████| 211.9MB 201kB/s
Collecting py4j==0.10.7 (from pyspark)
Downloading https://files.pythonhosted.org/packages/e3/53/c737818eb9a7dc32a7cd4f1396e787bd94200c3997c72c1dbe028587bd76/py4j-0.10.7-py2.py3-none-any.whl (197kB)
100% |████████████████████████████████| 204kB 951kB/s
Building wheels for collected packages: pyspark
Running setup.py bdist_wheel for pyspark ... done
Stored in directory: /root/.cache/pip/wheels/be/7d/34/cd3cfbc75d8b6b6ae0658e5425348560b86d187fe3e53832cc
Successfully built pyspark
twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
Installing collected packages: py4j, pyspark
Successfully installed py4j-0.10.7 pyspark-2.3.2
You are using pip version 10.0.1, however version 18.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# pip install --upgrade pip
bash: pip: command not found
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# apt-get install pip
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package pip
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install --upgrade pip
Collecting pip
Downloading https://files.pythonhosted.org/packages/c2/d7/90f34cb0d83a6c5631cf71dfe64cc1054598c843a92b400e55675cc2ac37/pip-18.1-py2.py3-none-any.whl (1.3MB)
100% |████████████████████████████████| 1.3MB 8.5MB/s
twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
Installing collected packages: pip
Found existing installation: pip 10.0.1
Uninstalling pip-10.0.1:
Successfully uninstalled pip-10.0.1
Successfully installed pip-18.1
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install PyHamcrest
Collecting PyHamcrest
Downloading https://files.pythonhosted.org/packages/9a/d5/d37fd731b7d0e91afcc84577edeccf4638b4f9b82f5ffe2f8b62e2ddc609/PyHamcrest-1.9.0-py2.py3-none-any.whl (52kB)
100% |████████████████████████████████| 61kB 2.6MB/s
Requirement already satisfied: six in /root/anaconda3/lib/python3.7/site-packages (from PyHamcrest) (1.11.0)
Requirement already satisfied: setuptools in /root/anaconda3/lib/python3.7/site-packages (from PyHamcrest) (40.2.0)
Installing collected packages: PyHamcrest
Successfully installed PyHamcrest-1.9.0
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# python SparkDecisionTree.py
Traceback (most recent call last):
File "SparkDecisionTree.py", line 1, in <module>
from pyspark.mllib.regression import LabeledPoint
ImportError: No module named pyspark.mllib.regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install LabeledPoint
Collecting LabeledPoint
Could not find a version that satisfies the requirement LabeledPoint (from versions: )
No matching distribution found for LabeledPoint
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install regression
Collecting regression
Could not find a version that satisfies the requirement regression (from versions: )
No matching distribution found for regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning#
jupyternotebook
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/jupyter notebook --ip=0.0.0.0 --allow-root
[I 14:00:45.307 NotebookApp] JupyterLab extension loaded from /root/anaconda3/lib/python3.7/site-packages/jupyterlab
[I 14:00:45.307 NotebookApp] JupyterLab application directory is /root/anaconda3/share/jupyter/lab
[I 14:00:45.311 NotebookApp] Serving notebooks from local directory: /Hands-On-Data-Science-and-Python-Machine-Learning
[I 14:00:45.311 NotebookApp] The Jupyter Notebook is running at:
[I 14:00:45.311 NotebookApp] http://(0ece3ffce439 or 127.0.0.1):8888/?token=03a8851511d5e0e2457d5448b0f66f71b8378d4ac9b1c141
[I 14:00:45.311 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 14:00:45.313 NotebookApp] No web browser found: could not locate runnable browser.
[C 14:00:45.313 NotebookApp]
Im Browser localhost:8888 öffnen
Im obigen Fall zum Token 03a8851511d5e0e2457d5448b0f66f71b8378d4ac9b1c141 Einstellen.
2. Für diejenigen, die Docker selbst bauen
Von hier an werde ich aufzeichnen, welche Art von Richtlinien und Verfahren ich für den oben genannten Docker erstellt habe. Dies ist ein Referenzmaterial für die Verwendung des obigen Dockers. Wird nicht benötigt, um den Rest des Buches auszuführen. Dies ist das Verfahren zum Erstellen von Docker / Anaconda auf eigene Faust. Es ist keine Möglichkeit, eine Docker-Datei zu erstellen. Es tut uns leid. docker
Ein Mechanismus, mit dem Linux wie Ubuntu und Debian von Linux, Windows und Mac OS gemeinsam verwendet werden können. Es ist gut, es verwenden zu können, ohne die Einstellungen des zu verwendenden Betriebssystems zu ändern. Mit den gleichen Spezifikationen kann es von einer großen Anzahl von Personen verwendet werden. Es stehen sowohl die vom Softwareentwickler offiziell unterstützten als auch die vom Benutzer bequem zugeschnittenen zur Verfügung. Dieses Mal werden wir das, was wir offiziell verteilt haben, so anpassen, dass es von anderen verwendet werden kann. python
Ich ging nach Phthon, um Deep Learning zu üben. Der Grund für die Verwendung von Python ist, dass viele Mechanismen des maschinellen Lernens in Python verwendet werden können und statistische Analysemechanismen wie R auch leicht von Python aus verwendet werden können. anaconda
Es gibt Unterschiede zwischen der 2. und 3. Version von Python und der Verteilungsmethode. Ich benutze Python3 mit Anaconda seit anderthalb Jahren. Der Grund, warum ich Anaconda verwendet habe, ist, dass es von Anfang an eine statistische Analysebibliothek und ein Jupyter-Notizbuch enthält.
offizielle Verteilung von Docker
Es gibt eine offizielle Verbreitung von Betriebssystemen wie Ubuntu und Debian sowie eine offizielle Verbreitung von Sprachen wie gcc und anaconda. Wenn Sie diese verwenden und sich bei Docker-Hub registrieren, können Sie die Qualität der offiziellen Verteilung überprüfen und eine Vielzahl von Informationen einschließlich Änderungsrechten austauschen. Dies bedeutet nicht, dass Docker es offiziell vertreibt, sondern dass es von jedem Softwareanbieter offiziell vertrieben wird. docker pull
Die Verwendung der offiziellen Docker-Distribution wird durch Abrufen von der URL realisiert. docker Anaconda
Verwenden Sie die von Anaconda offiziell vertriebene.
$ docker pull kaizenjapan/anaconda-keras
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest
$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash
Ziehen Sie andere Drücke, die tatsächlich Keras und Tensorflow verwendet haben
apt-get
(base) root@d8857ae56e69:/# apt-get update
(base) root@d8857ae56e69:/# apt-get install -y procps
(base) root@d8857ae56e69:/# apt-get install -y vim
(base) root@d8857ae56e69:/# apt-get install -y apt-utils
(base) root@d8857ae56e69:/# apt-get install sudo
apt-get install scala
apt-get install default-jre
Quelle git
(base) root@f19e2f06eabb:/# git clone https://github.com/PacktPublishing/Hands-On-Data-Science-and-Python-Machine-Learning
conda
(base) root@f19e2f06eabb:/d# conda update --prefix /opt/conda anaconda
pip
(base) root@f19e2f06eabb:/# pip install --upgrade pip
/root/anaconda3/bin/pip install pyspark
Registrierung beim Docker Hub
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
caef766a99ff continuumio/anaconda3 "/usr/bin/tini -- /b…" 10 hours ago Up 10 hours 0.0.0.0:8888->8888/tcp sleepy_bassi
$ docker commit 3bf1f723168d kaizenjapan/anaconda-frank
$ docker push kaizenjapan/anaconda-frank
Referenz
Warum maschinelles Lernen mit Docker-Buch / Quellliste erstellt wird (Ziel 100) https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
Maschinelles Lernen mit Docker (1) mit Anakonda (1) "Deep Learning von Grund auf neu - Die Theorie und Implementierung des mit Python gelernten Deep Learning" von Yasuki Saito https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
Maschinelles Lernen mit Docker (2) mit Anakonda (2) "Deep Learning from Grund 2 Verarbeitung natürlicher Sprache" von Yasuki Saito https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6
Maschinelles Lernen mit Docker (3) mit Anakonda (3) "Intuitives Tiefenlernen" Antonio Gulli, Sujit Pal Kapitel 1, Kapitel 2 https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32
Maschinelles Lernen mit Docker (71) Umgebungskonstruktion (1) Docker Irgendwie gibt es, egal was passiert, nur Fehler. https://qiita.com/kaizen_nagoya/items/690d806a4760d9b9e040
Maschinelles Lernen mit Docker (72) Umgebungskonstruktion (2) Docker für Windows https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002
Maschinelles Lernen mit Docker (73) Umgebungskonstruktion (3) Docker / Linux / Macos-Bash-Skript, ms-dos-Batchdatei https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558
Maschinelles Lernen mit Docker (74) Umgebungskonstruktion (4) R Wie viele Schwierigkeiten? https://qiita.com/kaizen_nagoya/items/5fb44773bc38574bcf1c
Maschinelles Lernen mit Docker (75) Umgebungskonstruktion (5) Verwaltung von Docker-bezogenen Dateien https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d
Ich habe versucht, OpenCV unter Python auszuführen, und mir wurde gesagt, dass libGL.so fehlt, aber ich habe es gelöst. https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8
Zeichentipps mit matplotlib auf der Serverseite https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e
Kopieren von Dateien zwischen Host und Container mit Docker https://qiita.com/gologo13/items/7e4e404af80377b48fd5
Verwenden Sie die Dateifreigabe mit Docker für Mac https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5
"Nagoyas IoT ist Nagoyas Betriebssystem" Wie kann ich Docker verwenden? TOPPERS / FMP auf RaspberryPi mit Macintosh 5-Barrieren https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af
Weg zur 64-Bit-CPU und / oder 64 Jahre alten Bestimmung https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60
Deep Learning 2 Verarbeitung natürlicher Sprache von Grund auf neu So fahren Sie mit einer Lesesitzung fort (Beispiel) https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e
Versuchen Sie es mit NVIDIA Docker unter Ubuntu 16.04 LTS https://blog.amedama.jp/entry/2017/04/03/235901
Dokumentenverlauf
Ver. 0.10 Erster Entwurf 20181024 ver. 0.11 push 20181028
Recommended Posts