[PYTHON] Maschinelles Lernen mit Funken (86) mit Funken (1) "Maschinelles Lernen mit Funken" Von Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath
1. Für diejenigen, die es sofort verwenden möchten (sobald)
「Machine Learning with Spark」 By Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath
http://shop.oreilly.com/product/9781785889936.do
docker Bitte installieren Sie Docker und starten Sie Docker unter Windows und Mac. Unter Windows wird Docker möglicherweise nur gestartet, wenn Intel Virtualization in Bios aktiviert ist. Außerdem können Sicherheitswarnungen angezeigt werden.
docker run
$ docker pull kaizenjapan/anaconda2-spark
$ docker run -it -p 8888:8888 kaizenjapan/anaconda2-sparkk /bin/bash
In der Shell-Sitzung unten (Basis-) root @ f19e2f06eabb: / # ist eine Eingabeaufforderung. Tatsächlich kann der Nummernteil unterschiedlich sein. Geben Sie die rechte Seite von # in diese Zeile ein. Die anderen Zeilen werden ausgegeben. Wenn es Fehler oder Unterschiede in der Ausgabe gibt, teilen Sie uns dies bitte in den Kommentaren mit. Navigieren Sie zu dem Ordner für jedes Kapitel.
Wenn die Anzeige in Docker und die Shell des Betriebssystems, mit dem Docker gestartet wurde, ähnlich sind, können Sie einen Fehler machen, welches Sie untersuchen. Achten Sie auf die Eingabeaufforderung des Dockers.
Dateifreigabe oder Kopieren
Geben Sie in dem Betriebssystem, das Docker und Docker gestartet hat, die Datei frei oder kopieren Sie die Datei und zeigen Sie die generierte Datei im Browser usw. an. Die URL der Methode wird in der Referenzspalte beschrieben.
Ich suche nach einer guten Möglichkeit, die Festplatten des Betriebssystems zu organisieren, mit dem Docker gestartet wurde. Einige Methoden haben von Anfang an gemeinsame Einstellungen.
Beim Kopieren wurde der Befehl auf der Betriebssystemseite ausgeführt, mit dem Docker gestartet wurde. Ersetzen Sie durch Ihre Docker-Nummer. Ich habe die kopierte Datei im Browser angezeigt und den Inhalt überprüft.
3 Teile
python Python2-Programm
java
2. Für diejenigen, die Docker selbst bauen
Von hier an werde ich aufzeichnen, welche Art von Richtlinien und Verfahren ich für den oben genannten Docker erstellt habe. Dies ist ein Referenzmaterial für die Verwendung des obigen Dockers. Wird nicht benötigt, um den Rest des Buches auszuführen. Dies ist das Verfahren zum Erstellen von Docker / Anaconda auf eigene Faust. Es ist keine Möglichkeit, eine Docker-Datei zu erstellen. Es tut uns leid. docker
Ein Mechanismus, mit dem Linux wie Ubuntu und Debian von Linux, Windows und Mac OS gemeinsam verwendet werden können. Es ist gut, es verwenden zu können, ohne die Einstellungen des zu verwendenden Betriebssystems zu ändern. Mit den gleichen Spezifikationen kann es von einer großen Anzahl von Personen verwendet werden. Es stehen sowohl die vom Softwareentwickler offiziell unterstützten als auch die vom Benutzer bequem zugeschnittenen zur Verfügung. Dieses Mal werden wir das, was wir offiziell verteilt haben, so anpassen, dass es von anderen verwendet werden kann. python
Ich ging nach Phthon, um Deep Learning zu üben. Der Grund für die Verwendung von Python ist, dass viele Mechanismen des maschinellen Lernens in Python verwendet werden können und statistische Analysemechanismen wie R auch leicht von Python aus verwendet werden können. anaconda
Es gibt Unterschiede zwischen der 2. und 3. Version von Python und der Verteilungsmethode. Ich benutze Python3 mit Anaconda seit anderthalb Jahren. Der Grund, warum ich Anaconda verwendet habe, ist, dass es von Anfang an eine statistische Analysebibliothek und ein Jupyter-Notizbuch enthält.
offizielle Verteilung von Docker
Es gibt eine offizielle Verbreitung von Betriebssystemen wie Ubuntu und Debian sowie eine offizielle Verbreitung von Sprachen wie gcc und anaconda. Wenn Sie diese verwenden und sich bei Docker-Hub registrieren, können Sie die Qualität der offiziellen Verteilung überprüfen und eine Vielzahl von Informationen einschließlich Änderungsrechten austauschen. Dies bedeutet nicht, dass Docker es offiziell vertreibt, sondern dass es von jedem Softwareanbieter offiziell vertrieben wird. docker pull
Die Verwendung der offiziellen Docker-Distribution wird durch Abrufen von der URL realisiert. docker Anaconda
Verwenden Sie die von Anaconda offiziell vertriebene.
$ docker pull kaizenjapan/anaconda-keras
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest
$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash
Ziehen Sie andere Drücke, die tatsächlich Keras und Tensorflow verwendet haben
apt-get
(base) root@d8857ae56e69:/# apt-get update
(base) root@d8857ae56e69:/# apt-get install -y procps
(base) root@d8857ae56e69:/# apt-get install -y vim
(base) root@d8857ae56e69:/# apt-get install -y apt-utils
(base) root@d8857ae56e69:/# apt-get install sudo
(base) root@d8857ae56e69:/# apt-get upgrade
Quelle git
(base) root@f19e2f06eabb:/# git clone https://github.com/PacktPublishing/Machine-Learning-with-Spark
pip
pip install pyspark
Registrierung beim Docker Hub
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
caef766a99ff continuumio/anaconda3 "/usr/bin/tini -- /b…" 10 hours ago Up 10 hours 0.0.0.0:8888->8888/tcp sleepy_bassi
$ docker commit caef766a99ff kaizenjapan/anaconda2-spark
$ docker push kaizenjapan/anaconda2-spark
Referenz
spark
Maschinelles Lernen
Warum maschinelles Lernen mit Docker-Buch / Quellliste erstellt wird (Ziel 100) https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
Maschinelles Lernen mit Docker (1) mit Anakonda (1) "Deep Learning von Grund auf neu - Die Theorie und Implementierung des mit Python gelernten Deep Learning" von Yasuki Saito https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
Maschinelles Lernen mit Docker (2) mit Anakonda (2) "Deep Learning from Grund 2 Verarbeitung natürlicher Sprache" von Yasuki Saito https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6
Maschinelles Lernen mit Docker (3) mit Anakonda (3) "Intuitives Tiefenlernen" Antonio Gulli, Sujit Pal Kapitel 1, Kapitel 2 https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32
Maschinelles Lernen mit Docker (71) Umgebungskonstruktion (1) Docker Irgendwie gibt es, egal was passiert, nur Fehler. https://qiita.com/kaizen_nagoya/items/690d806a4760d9b9e040
Maschinelles Lernen mit Docker (72) Umgebungskonstruktion (2) Docker für Windows https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002
Maschinelles Lernen mit Docker (73) Umgebungskonstruktion (3) Docker / Linux / Macos-Bash-Skript, ms-dos-Batchdatei https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558
Maschinelles Lernen mit Docker (74) Umgebungskonstruktion (4) R Wie viele Schwierigkeiten? https://qiita.com/kaizen_nagoya/items/5fb44773bc38574bcf1c
Maschinelles Lernen mit Docker (75) Umgebungskonstruktion (5) Verwaltung von Docker-bezogenen Dateien https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d
Ich habe versucht, OpenCV unter Python auszuführen, und mir wurde gesagt, dass libGL.so fehlt, aber ich habe es gelöst. https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8
Zeichentipps mit matplotlib auf der Serverseite https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e
Kopieren von Dateien zwischen Host und Container mit Docker https://qiita.com/gologo13/items/7e4e404af80377b48fd5
Verwenden Sie die Dateifreigabe mit Docker für Mac https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5
"Nagoyas IoT ist Nagoyas Betriebssystem" Wie kann ich Docker verwenden? TOPPERS / FMP auf RaspberryPi mit Macintosh 5-Barrieren https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af
Weg zur 64-Bit-CPU und / oder 64 Jahre alten Bestimmung https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60
Deep Learning 2 Verarbeitung natürlicher Sprache von Grund auf neu So fahren Sie mit einer Lesesitzung fort (Beispiel) https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e
Versuchen Sie es mit NVIDIA Docker unter Ubuntu 16.04 LTS https://blog.amedama.jp/entry/2017/04/03/235901
Dokumentenverlauf
Ver. 0.10 Erster Entwurf 20181024 ver. 0.11 push 20181028
Recommended Posts