Créer un environnement d'apprentissage automatique Python avec des conteneurs

Créez un environnement d'apprentissage automatique Python sur votre ordinateur portable avec un conteneur.

Cette fois, nous allons créer un conteneur qui peut utiliser fastText et Python3 principalement comme environnement d'apprentissage automatique basé sur du texte.

image

Pour l'exécution (apprentissage et vérification), connectez-vous au conteneur d'apprentissage automatique avec un shell et exécutez fastText et Python3.
Montez le code source et les fichiers d'apprentissage dans un dossier sur votre PC.
L'éditeur utilise Visual Studio Code.

Edit

travail

https://qiita.com/penpenta/items/3b7a0f1e27bbab56a95f

environnement

Windows 10 Pro
- Memory : 8GB
Docker Desktop for Windows

Lancer l'image du conteneur de base

Tout d'abord, démarrez l'image du conteneur de base. La commande execute ici doit être la même que la commande pour exécuter l'image de conteneur construite. Cette fois, nous utiliserons l'image CentOS pour créer fastText à l'intérieur du conteneur.

Exécutez la commande de base avec la commande suivante.

docker run -it -v /c/temp/data:/data --rm centos:centos8 /bin/bash

Installez et vérifiez petit à petit ce dont vous avez besoin

Vous pouvez créer avec Dockerfile depuis le début, mais vous pouvez obtenir une erreur d'installation. Ce travail est effectué pour vérifier progressivement l'environnement.

Construction Python installation-fastText

Exécutez la commande suivante. * Attendez un moment avec "Exécution de setup.py install pour fasttext ..." après avoir exécuté pip3 install.

dnf -y install python36
yum install -y git make gcc gcc-c++
yum install -y python36-devel
cd /usr/local/src
git clone https://github.com/facebookresearch/fastText.git
cd fastText
pip3 install .

Vérifiez s'il peut être importé en tant que package python. Exécutez la commande suivante et s'il n'y a pas d'erreur, c'est OK.

python3
import fasttext
exit()

Enregistrez le conteneur sur lequel vous avez travaillé avec l'exportation de docker. À partir de la prochaine fois, vous pouvez continuer à travailler à partir d'ici avec l'importation de docker.

docker export {ID de l'image} > {nom de fichier}.tar

Installer le package d'apprentissage automatique

Installez le package standard.

Exécutez la commande suivante.

pip3 install numpy pandas matplotlib scikit-learn

Installer le package de traitement japonais

Installez les packages requis pour le traitement japonais. Le dictionnaire n'est pas obligatoire, vous pouvez donc l'ignorer.

Exécutez la commande suivante.

rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.rpm
yum -y makecache
yum -y install mecab mecab-ipadic
yum -y install --nogpgcheck mecab-devel
pip3 install mecab-python3 neologdn emoji

Installez le dictionnaire (patch diffutils dont le fichier openssl est requis pour le script d'installation et sera installé.)

yum install -y diffutils patch which file openssl

cd /usr/local/src
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
cd mecab-ipadic-neologd
./bin/install-mecab-ipadic-neologd -n -y

Environnement d'exportation

Cette fois, je veux l'utiliser pour un usage personnel et toujours utiliser une nouvelle version de package, donc j'exporterai l'environnement vers le Dockerfile de travail jusqu'à présent.

À propos, le docker de fichiers exporté dans l'état jusqu'à présent était de 1,7 Go.

Points lors de la création d'un Dockerfile --Utilisez WORKDIR au lieu de cd (le cd ne peut pas être utilisé dans Dockerfile)
La commande doit être exécutée par bash.
Le dictionnaire est commenté. (Parce qu'il faut du temps pour construire)

Dockerfile

FROM centos:centos8

SHELL ["/bin/bash", "-c"]
#Python Install

RUN dnf -y install python36

#fastText Build

RUN yum install -y git make gcc gcc-c++
RUN yum install -y python36-devel
WORKDIR /usr/local/src
RUN git clone https://github.com/facebookresearch/fastText.git
WORKDIR /usr/local/src/fastText
RUN pip3 install .

#Install Python Package
RUN pip3 install numpy pandas matplotlib scikit-learn
RUN rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.rpm
RUN yum -y makecache
RUN yum -y install --nogpgcheck mecab mecab-ipadic mecab-devel
RUN pip3 install mecab-python3 neologdn emoji

#Install Mecab Dictionary

# RUN yum install -y diffutils patch which file openssl
# 
# WORKDIR /usr/local/src
# RUN git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
# WORKDIR /usr/local/src/mecab-ipadic-neologd
# RUN ./bin/install-mecab-ipadic-neologd -n -y

Confirmation de construction et de démarrage

Construisez à l'aide du Dockerfile.

docker build -t fasttext/centos8:v1.0 .

Confirmez qu'il peut être démarré avec la commande suivante.

docker run -it -v /c/temp/data:/data --rm fasttext/centos8:v1.0 /bin/bash

Résumé

En suivant les étapes ci-dessous, vous avez créé un environnement d'apprentissage automatique Python dans un conteneur sur votre ordinateur portable.

Lancez l'image du conteneur de base
Installez et vérifiez petit à petit ce dont vous avez besoin
Exportez l'image du conteneur

Avec le travail à distance, il n'était pas possible de toujours se connecter au VPN interne, et le travail de développement sur le serveur de développement était difficile, mais cet environnement l'a résolu.

Comme il faut du temps pour apprendre sur un ordinateur portable, il existe des problèmes tels que «les ressources sont occupées pour l'apprentissage» et «ne peut pas s'arrêter», mais si le même conteneur est préparé à l'avance sur le serveur de développement, «moins sur un ordinateur portable» Il peut être résolu en suivant la procédure de "Vérifier le fonctionnement avec l'époque → Augmenter l'époque sur le serveur de développement et apprendre". Il est également possible d'accroche le commit du code source et d'exécuter automatiquement l'apprentissage sur le serveur de développement. Je vais résumer l'article séparément à ce sujet.