Machine Learning avec docker (40) avec anaconda (40) "Hands-On Data Science and Python Machine Learning" Par Frank Kane
1. Pour ceux qui veulent l'utiliser immédiatement (dès que)
「Hands-On Data Science and Python Machine Learning」By Frank Kane
http://shop.oreilly.com/product/9781787280748.do
docker Veuillez installer docker et démarrer docker sur Windows et Mac. Sous Windows, le docker peut ne pas démarrer tant que la virtualisation Intel n'est pas activée dans le Bios. De plus, des avertissements de sécurité peuvent apparaître.
docker run
$ docker pull kaizenjapan/anaconda-frank
$ docker run -it -p 8888:8888 kaizenjapan/anaconda-frank /bin/bash
Dans la session shell ci-dessous (base) root @ f19e2f06eabb: / # est une invite de virgule. En fait, la partie numérique peut être différente. Entrez le côté droit de # sur cette ligne. Les autres lignes sont sorties. S'il y a des erreurs ou des différences dans la sortie, veuillez nous en informer dans les commentaires. Accédez au dossier de chaque chapitre.
Si l'affichage dans le menu fixe et le shell du système d'exploitation qui a démarré le menu fixe sont similaires, vous pouvez faire une erreur quant à celui que vous recherchez. Faites attention à l'invite de commande de docker.
Partage ou copie de fichiers
Sur le système d'exploitation qui a démarré le docker et le docker, partagez le fichier ou copiez le fichier pour afficher le fichier généré dans le navigateur. L'URL de la méthode est décrite dans la colonne de référence.
Je recherche un bon moyen d'organiser les disques du système d'exploitation qui a démarré le docker. Certaines méthodes ont des paramètres partagés depuis le début.
Dans le cas de la copie, la commande côté OS qui a démarré docker a été exécutée. Remplacez par votre numéro de docker. J'ai affiché le fichier copié sur le navigateur et vérifié le contenu.
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# python SparkDecisionTree.py
Traceback (most recent call last):
File "SparkDecisionTree.py", line 1, in <module>
from pyspark.mllib.regression import LabeledPoint
ImportError: No module named pyspark.mllib.regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# pip install pyspark
bash: pip: command not found
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# find / -name pip -print
/root/anaconda3/bin/pip
/root/anaconda3/lib/python3.7/site-packages/pip
/root/anaconda3/pkgs/pip-10.0.1-py37_0/bin/pip
/root/anaconda3/pkgs/pip-10.0.1-py37_0/lib/python3.7/site-packages/pip
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install pyspark
Collecting pyspark
Downloading https://files.pythonhosted.org/packages/5e/cb/d8ff49ba885e2c88b8cf2967edd84235ffa9ac301bffef657dfa5605a112/pyspark-2.3.2.tar.gz (211.9MB)
100% |████████████████████████████████| 211.9MB 201kB/s
Collecting py4j==0.10.7 (from pyspark)
Downloading https://files.pythonhosted.org/packages/e3/53/c737818eb9a7dc32a7cd4f1396e787bd94200c3997c72c1dbe028587bd76/py4j-0.10.7-py2.py3-none-any.whl (197kB)
100% |████████████████████████████████| 204kB 951kB/s
Building wheels for collected packages: pyspark
Running setup.py bdist_wheel for pyspark ... done
Stored in directory: /root/.cache/pip/wheels/be/7d/34/cd3cfbc75d8b6b6ae0658e5425348560b86d187fe3e53832cc
Successfully built pyspark
twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
Installing collected packages: py4j, pyspark
Successfully installed py4j-0.10.7 pyspark-2.3.2
You are using pip version 10.0.1, however version 18.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# pip install --upgrade pip
bash: pip: command not found
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# apt-get install pip
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package pip
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install --upgrade pip
Collecting pip
Downloading https://files.pythonhosted.org/packages/c2/d7/90f34cb0d83a6c5631cf71dfe64cc1054598c843a92b400e55675cc2ac37/pip-18.1-py2.py3-none-any.whl (1.3MB)
100% |████████████████████████████████| 1.3MB 8.5MB/s
twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
Installing collected packages: pip
Found existing installation: pip 10.0.1
Uninstalling pip-10.0.1:
Successfully uninstalled pip-10.0.1
Successfully installed pip-18.1
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install PyHamcrest
Collecting PyHamcrest
Downloading https://files.pythonhosted.org/packages/9a/d5/d37fd731b7d0e91afcc84577edeccf4638b4f9b82f5ffe2f8b62e2ddc609/PyHamcrest-1.9.0-py2.py3-none-any.whl (52kB)
100% |████████████████████████████████| 61kB 2.6MB/s
Requirement already satisfied: six in /root/anaconda3/lib/python3.7/site-packages (from PyHamcrest) (1.11.0)
Requirement already satisfied: setuptools in /root/anaconda3/lib/python3.7/site-packages (from PyHamcrest) (40.2.0)
Installing collected packages: PyHamcrest
Successfully installed PyHamcrest-1.9.0
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# python SparkDecisionTree.py
Traceback (most recent call last):
File "SparkDecisionTree.py", line 1, in <module>
from pyspark.mllib.regression import LabeledPoint
ImportError: No module named pyspark.mllib.regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install LabeledPoint
Collecting LabeledPoint
Could not find a version that satisfies the requirement LabeledPoint (from versions: )
No matching distribution found for LabeledPoint
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install regression
Collecting regression
Could not find a version that satisfies the requirement regression (from versions: )
No matching distribution found for regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning#
jupyternotebook
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/jupyter notebook --ip=0.0.0.0 --allow-root
[I 14:00:45.307 NotebookApp] JupyterLab extension loaded from /root/anaconda3/lib/python3.7/site-packages/jupyterlab
[I 14:00:45.307 NotebookApp] JupyterLab application directory is /root/anaconda3/share/jupyter/lab
[I 14:00:45.311 NotebookApp] Serving notebooks from local directory: /Hands-On-Data-Science-and-Python-Machine-Learning
[I 14:00:45.311 NotebookApp] The Jupyter Notebook is running at:
[I 14:00:45.311 NotebookApp] http://(0ece3ffce439 or 127.0.0.1):8888/?token=03a8851511d5e0e2457d5448b0f66f71b8378d4ac9b1c141
[I 14:00:45.311 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 14:00:45.313 NotebookApp] No web browser found: could not locate runnable browser.
[C 14:00:45.313 NotebookApp]
Dans le navigateur localhost:8888 ouvert
Dans le cas ci-dessus, jeton 03a8851511d5e0e2457d5448b0f66f71b8378d4ac9b1c141 Mettez dedans.
2. Pour ceux qui construisent eux-mêmes docker
À partir de maintenant, j'enregistrerai le type de politique et de procédure que j'ai créé le docker ci-dessus. Il s'agit d'un matériel de référence pour l'utilisation du menu fixe ci-dessus. Pas nécessaire pour exécuter le reste du livre. C'est la procédure pour construire vous-même docker / anaconda. Ce n'est pas un moyen de créer un fichier docker. Pardon. docker
Un mécanisme qui permet à Linux comme ubuntu et debian d'être utilisé en commun à partir de Linux, Windows et Mac OS. Il est bon de pouvoir l'utiliser sans modifier les paramètres de l'OS à utiliser. Avec les mêmes spécifications, il peut être utilisé par un grand nombre de personnes. Ceux qui sont officiellement pris en charge par le développeur du logiciel et ceux qui sont convenablement adaptés par l'utilisateur sont disponibles. Cette fois, nous adapterons ce que nous avons officiellement distribué afin qu'il puisse être utilisé par d'autres. python
Je suis allé à Phthon pour une pratique de Deep Learning. La raison de l'utilisation de python est que de nombreux mécanismes d'apprentissage automatique peuvent être utilisés en python, et des mécanismes d'analyse statistique tels que R peuvent également être facilement utilisés à partir de python. anaconda
Il existe des différences entre les versions 2 et 3 de python et la méthode de distribution. J'utilise python3 avec Anaconda depuis un an et demi. La raison pour laquelle j'ai utilisé Anaconda est qu'il est livré avec une bibliothèque d'analyse statistique et Jupyter Notebook depuis le début.
distribution officielle de docker
Il existe une distribution officielle d'OS comme ubuntu et debian, et une distribution officielle de langages tels que gcc et anaconda. En les utilisant et en vous inscrivant sur docker-hub, vous pouvez vérifier la qualité de la distribution officielle et partager un large éventail d'informations, y compris les droits de modification. Cela ne signifie pas que docker le distribue officiellement, mais qu'il est officiellement distribué par chaque fournisseur de logiciel. docker pull
L'utilisation de la distribution officielle de docker est réalisée en tirant de l'URL. docker Anaconda
Utilisez celui officiellement distribué par anaconda.
$ docker pull kaizenjapan/anaconda-keras
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest
$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash
Tirez sur d'autres poussées qui utilisaient réellement keras et tensorflow
apt-get
(base) root@d8857ae56e69:/# apt-get update
(base) root@d8857ae56e69:/# apt-get install -y procps
(base) root@d8857ae56e69:/# apt-get install -y vim
(base) root@d8857ae56e69:/# apt-get install -y apt-utils
(base) root@d8857ae56e69:/# apt-get install sudo
apt-get install scala
apt-get install default-jre
Source git
(base) root@f19e2f06eabb:/# git clone https://github.com/PacktPublishing/Hands-On-Data-Science-and-Python-Machine-Learning
conda
(base) root@f19e2f06eabb:/d# conda update --prefix /opt/conda anaconda
pip
(base) root@f19e2f06eabb:/# pip install --upgrade pip
/root/anaconda3/bin/pip install pyspark
Inscription au Docker Hub
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
caef766a99ff continuumio/anaconda3 "/usr/bin/tini -- /b…" 10 hours ago Up 10 hours 0.0.0.0:8888->8888/tcp sleepy_bassi
$ docker commit 3bf1f723168d kaizenjapan/anaconda-frank
$ docker push kaizenjapan/anaconda-frank
Référence
Pourquoi le Machine Learning avec Docker Book / Source List est en cours de création (Objectif 100) https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
Apprentissage automatique avec docker (1) avec anaconda (1) "Deep Learning from scratch - La théorie et la mise en œuvre de l'apprentissage profond appris avec Python" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
Apprentissage automatique avec docker (2) avec anaconda (2) "Deep Learning from scratch 2 Natural language processing" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6
Apprentissage automatique avec docker (3) avec anaconda (3) "Apprentissage profond intuitif" Antonio Gulli, Sujit Pal Chapitre 1, Chapitre 2 https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32
Apprentissage automatique avec docker (71) Construction de l'environnement (1) docker D'une manière ou d'une autre, quoi qu'il arrive, il n'y a que des erreurs. https://qiita.com/kaizen_nagoya/items/690d806a4760d9b9e040
Apprentissage automatique avec docker (72) Construction d'environnement (2) Docker pour Windows https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002
Apprentissage automatique avec docker (73) Construction de l'environnement (3) script bash docker / linux / macos, fichier batch ms-dos https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558
Apprentissage automatique avec docker (74) Construction de l'environnement (4) R Combien de difficultés? https://qiita.com/kaizen_nagoya/items/5fb44773bc38574bcf1c
Apprentissage automatique avec docker (75) Construction d'environnement (5) Gestion des fichiers liés au docker https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d
J'ai essayé d'exécuter OpenCV sur Python et on m'a dit que libGL.so manquait, mais je l'ai résolu. https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8
Conseils de dessin avec matplotlib côté serveur https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e
Copie de fichiers entre l'hôte et le conteneur avec Docker https://qiita.com/gologo13/items/7e4e404af80377b48fd5
Utiliser le partage de fichiers avec Docker pour Mac https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5
"L'IoT de Nagoya est le système d'exploitation de Nagoya" Comment puis-je utiliser Docker? TOPPERS / FMP sur RaspberryPi avec barrières Macintosh 5 https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af
Route vers un processeur 64 bits et / ou une détermination vieille de 64 ans https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60
Deep Learning 2 Natural Language Processing à partir de zéro Comment procéder avec une session de lecture (exemple) https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e
Essayez d'utiliser NVIDIA Docker sur Ubuntu 16.04 LTS https://blog.amedama.jp/entry/2017/04/03/235901
Historique du document
ver. 0.10 Première ébauche 20181024 ver. 0.11 push 20181028
Recommended Posts