[PYTHON] Apprentissage automatique avec Spark (86) avec Spark (1) «Apprentissage automatique avec Spark» Par Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath
1. Pour ceux qui veulent l'utiliser immédiatement (dès que)
「Machine Learning with Spark」 By Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath
http://shop.oreilly.com/product/9781785889936.do
docker Veuillez installer docker et démarrer docker sur Windows et Mac. Sous Windows, le docker peut ne pas démarrer tant que la virtualisation Intel n'est pas activée dans le Bios. De plus, des avertissements de sécurité peuvent apparaître.
docker run
$ docker pull kaizenjapan/anaconda2-spark
$ docker run -it -p 8888:8888 kaizenjapan/anaconda2-sparkk /bin/bash
Dans la session shell ci-dessous (base) root @ f19e2f06eabb: / # est une invite de virgule. En fait, la partie numérique peut être différente. Entrez le côté droit de # sur cette ligne. Les autres lignes sont sorties. S'il y a des erreurs ou des différences dans la sortie, veuillez nous en informer dans les commentaires. Accédez au dossier de chaque chapitre.
Si l'affichage dans le menu fixe et le shell du système d'exploitation qui a démarré le menu fixe sont similaires, vous pouvez faire une erreur quant à celui que vous recherchez. Faites attention à l'invite de commande de docker.
Partage ou copie de fichiers
Sur le système d'exploitation qui a démarré le docker et le docker, partagez le fichier ou copiez le fichier pour afficher le fichier généré dans le navigateur. L'URL de la méthode est décrite dans la colonne de référence.
Je recherche un bon moyen d'organiser les disques du système d'exploitation qui a démarré le docker. Certaines méthodes ont des paramètres partagés depuis le début.
Dans le cas de la copie, la commande côté OS qui a démarré docker a été exécutée. Remplacez par votre numéro de docker. J'ai affiché le fichier copié sur le navigateur et vérifié le contenu.
3 parties
python programme python2
java
2. Pour ceux qui construisent eux-mêmes docker
À partir de maintenant, j'enregistrerai le type de politique et de procédure que j'ai créé le docker ci-dessus. Il s'agit d'un matériel de référence pour l'utilisation du menu fixe ci-dessus. Pas nécessaire pour exécuter le reste du livre. C'est la procédure pour construire vous-même docker / anaconda. Ce n'est pas un moyen de créer un fichier docker. Pardon. docker
Un mécanisme qui permet à Linux comme ubuntu et debian d'être utilisé en commun à partir de Linux, Windows et Mac OS. Il est bon de pouvoir l'utiliser sans modifier les paramètres de l'OS à utiliser. Avec les mêmes spécifications, il peut être utilisé par un grand nombre de personnes. Ceux qui sont officiellement pris en charge par le développeur du logiciel et ceux qui sont convenablement adaptés par l'utilisateur sont disponibles. Cette fois, nous adapterons ce que nous avons officiellement distribué afin qu'il puisse être utilisé par d'autres. python
Je suis allé à Phthon pour une pratique de Deep Learning. La raison de l'utilisation de python est que de nombreux mécanismes d'apprentissage automatique peuvent être utilisés en python, et des mécanismes d'analyse statistique tels que R peuvent également être facilement utilisés à partir de python. anaconda
Il existe des différences entre les versions 2 et 3 de python et la méthode de distribution. J'utilise python3 avec Anaconda depuis un an et demi. La raison pour laquelle j'ai utilisé Anaconda est qu'il est livré avec une bibliothèque d'analyse statistique et Jupyter Notebook depuis le début.
distribution officielle de docker
Il existe une distribution officielle d'OS comme ubuntu et debian, et une distribution officielle de langages tels que gcc et anaconda. En les utilisant et en vous inscrivant sur docker-hub, vous pouvez vérifier la qualité de la distribution officielle et partager un large éventail d'informations, y compris les droits de modification. Cela ne signifie pas que docker le distribue officiellement, mais qu'il est officiellement distribué par chaque fournisseur de logiciel. docker pull
L'utilisation de la distribution officielle de docker est réalisée en tirant de l'URL. docker Anaconda
Utilisez celui officiellement distribué par anaconda.
$ docker pull kaizenjapan/anaconda-keras
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest
$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash
Tirez sur d'autres poussées qui utilisaient réellement keras et tensorflow
apt-get
(base) root@d8857ae56e69:/# apt-get update
(base) root@d8857ae56e69:/# apt-get install -y procps
(base) root@d8857ae56e69:/# apt-get install -y vim
(base) root@d8857ae56e69:/# apt-get install -y apt-utils
(base) root@d8857ae56e69:/# apt-get install sudo
(base) root@d8857ae56e69:/# apt-get upgrade
Source git
(base) root@f19e2f06eabb:/# git clone https://github.com/PacktPublishing/Machine-Learning-with-Spark
pip
pip install pyspark
Inscription au Docker Hub
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
caef766a99ff continuumio/anaconda3 "/usr/bin/tini -- /b…" 10 hours ago Up 10 hours 0.0.0.0:8888->8888/tcp sleepy_bassi
$ docker commit caef766a99ff kaizenjapan/anaconda2-spark
$ docker push kaizenjapan/anaconda2-spark
Référence
spark
Apprentissage automatique
Pourquoi le Machine Learning avec Docker Book / Source List est en cours de création (Objectif 100) https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
Apprentissage automatique avec docker (1) avec anaconda (1) "Deep Learning from scratch - La théorie et la mise en œuvre de l'apprentissage profond appris avec Python" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
Apprentissage automatique avec docker (2) avec anaconda (2) "Deep Learning from scratch 2 Natural language processing" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6
Apprentissage automatique avec docker (3) avec anaconda (3) "Apprentissage profond intuitif" Antonio Gulli, Sujit Pal Chapitre 1, Chapitre 2 https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32
Apprentissage automatique avec docker (71) Construction de l'environnement (1) docker D'une manière ou d'une autre, quoi qu'il arrive, il n'y a que des erreurs. https://qiita.com/kaizen_nagoya/items/690d806a4760d9b9e040
Apprentissage automatique avec docker (72) Construction d'environnement (2) Docker pour Windows https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002
Apprentissage automatique avec docker (73) Construction de l'environnement (3) script bash docker / linux / macos, fichier batch ms-dos https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558
Apprentissage automatique avec docker (74) Construction de l'environnement (4) R Combien de difficultés? https://qiita.com/kaizen_nagoya/items/5fb44773bc38574bcf1c
Apprentissage automatique avec docker (75) Construction d'environnement (5) Gestion des fichiers liés au docker https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d
J'ai essayé d'exécuter OpenCV sur Python et on m'a dit que libGL.so manquait, mais je l'ai résolu. https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8
Conseils de dessin avec matplotlib côté serveur https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e
Copie de fichiers entre l'hôte et le conteneur avec Docker https://qiita.com/gologo13/items/7e4e404af80377b48fd5
Utiliser le partage de fichiers avec Docker pour Mac https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5
"L'IoT de Nagoya est le système d'exploitation de Nagoya" Comment puis-je utiliser Docker? TOPPERS / FMP sur RaspberryPi avec barrières Macintosh 5 https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af
Route vers un processeur 64 bits et / ou une détermination vieille de 64 ans https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60
Deep Learning 2 Natural Language Processing à partir de zéro Comment procéder avec une session de lecture (exemple) https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e
Essayez d'utiliser NVIDIA Docker sur Ubuntu 16.04 LTS https://blog.amedama.jp/entry/2017/04/03/235901
Historique du document
ver. 0.10 Première ébauche 20181024 ver. 0.11 push 20181028