Google Research a ouvert la plate-forme Language Interprétabilité Tool (LIT) pour comprendre et visualiser les modèles PNL. J'aimerais l'essayer.

Les 3 articles sont prévus. ** 1. Exécutez l'outil d'interprétation du langage (LIT) dans l'environnement Windows 10 (1. Construction de l'environnement) [Cet article] ** 2. Exécutez l'outil d'interprétation du langage (LIT) dans l'environnement Windows 10 (2. Vérification des fonctions) 3. Exécuter l'outil d'interprétation du langage (LIT) dans l'environnement Windows 10 (3. modèle d'origine)

Cet article décrit la ** procédure de construction de l'environnement ** dans ** l'environnement Windows 10 Famille **.

table des matières

[Qu'est-ce que LIT](Qu'est-ce que # 1-allumé)
[Installation de Docker Desktop pour Windows](# 2-Installation de docker-desktop-for-windows)
[Exécuter un exemple de programme LIT](# 3-Exécuter un exemple de programme éclairé)
[Enfin](# 4-Enfin)

1. Qu'est-ce que LIT?

L'outil d'interprétation du langage (LIT) est un outil permettant de comprendre et de visualiser les modèles PNL.

L'interface utilisateur basée sur le navigateur présente les fonctionnalités suivantes: (Extrait du papier)

Si vous souhaitez en savoir plus, reportez-vous à ce qui suit

Le document est ici --GitHub est ici --Cliquez ici pour le guide de l'utilisateur (https://github.com/PAIR-code/lit/blob/main/docs/user_guide.md)

J'ai l'impression que je ne peux rien dire à moins de toucher ce genre de système d'outils, alors j'ai décidé de l'essayer.

2. Installez Docker Desktop pour Windows

Cette fois, pour configurer un serveur à l'aide de Docker, installez ** Docker Desktop pour Windows ** dans ** l'environnement Windows 10 Home **.

2-1. Création de l'ID Docker

Procédure omise Du coup, c'est facile, alors je vais sauter les étapes. Créez un identifiant Docker à partir de l'URL suivante. https://hub.docker.com/

2-2. Mise à jour Windows 10 Famille

Lorsque j'ai essayé d'installer Docker Desktop pour Windows, j'ai eu l'erreur suivante dans mon environnement.

Docker Desktop requires Windows 10 Pro/Enterprise (15063+) or Windows 10 Home (19018+).

Le libellé ci-dessus sera affiché à l'écran.

Il semble que ** Windows doit être mis à jour ** avant l'installation.

Suivez les étapes ci-dessous pour mettre à jour Windows 10 Famille. ** Menu Démarrer de Windows → Paramètres → Exécuter la mise à jour à partir de Windows Update ** Cela ne s'est pas terminé même après avoir attendu environ une heure, mais cela s'est terminé lorsque j'ai dormi et me suis réveillé.

Quand je l'ai vu le matin, il a été mis à niveau en toute sécurité vers la version suivante.

2-3. Installation de Docker Desktop pour Windows

Je vais effectivement l'installer. Cliquez sur ** Télécharger pour Windows (stable) ** à partir de l'URL ci-dessous pour télécharger le programme d'installation. https://www.docker.com/products/docker-desktop

Lorsque j'ai double-cliqué sur le programme d'installation et suivi les étapes, j'ai rencontré l'erreur suivante: Il semble que ** j'ai besoin de mettre à jour le noyau Linux **. Cliquez sur le lien comme indiqué.

Vous serez redirigé vers le manuel MS, ** téléchargez le package de mise à jour du noyau Linux **.

Exécutez le ** wsl_update_x64.msi ** téléchargé. Cela se termine en un instant.

Après cela, revenez à la procédure et terminez toutes les étapes ** L'installation de Docker Desktop pour Windows est terminée **.

référence

Articles de personnes ayant rencontré des erreurs similaires https://tech.guitarrapc.com/entry/2020/04/21/034236

Différence entre «Docker Toolbox» et «Docker Desktop for Windows» https://fumidzuki.com/knowledge/1033/

3. Exécutez l'exemple de programme LIT

Enfin, configurez un serveur sur Docker en exécutant l'exemple de programme ** quickstart_sst_demo.py **. Vous irez le voir du côté hôte avec un navigateur.

Dans LIT README, l'environnement est créé avec conda, donc Préparez l'environnement virtuel, puis configurez les paramètres pour que l'hôte puisse accéder au serveur.

3-1. Changement d'allocation de mémoire WSL2

Avant de commencer à préparer l'environnement virtuel, effectuez une ** modification de l'allocation de mémoire de WSL2 **. Si vous ne le faites pas, par défaut ** 80% de la mémoire de votre PC sera allouée **, et dans mon cas, c'est un PC de 16 Go, donc environ 13 Go de mémoire seront alloués.

La procédure est simple: créez un fichier **. Wslconfig ** dans **% UserProfile% ** côté hôte et spécifiez l'allocation de mémoire. 3 Go suffisaient pour exécuter la démo.

`~/.wslconfig`


[wsl2]
memory=3GB

3-2. Préparation de l'environnement virtuel

** Tirez et lancez le conteneur Docker contenant Anaconda. ** ** Depuis la ligne de commande: (Le nom du conteneur ** lit_env ** peut être modifié de manière arbitraire.) Référence: https://hub.docker.com/r/continuumio/anaconda3

docker pull continuumio/anaconda3
docker run -it --name lit_env continuumio/anaconda3 /bin/bash

Lorsque vous démarrez le conteneur Docker, le nom d'environnement virtuel par défaut ** base est activé **.

Ensuite, ** installez les packages requis **. En gros, procédez selon la procédure de LISEZ-MOI, mais si elle est laissée telle quelle, une erreur se produira, alors je l'ai un peu modifiée. Référence: https://github.com/pair-code/lit/issues Référence: https://github.com/yarnpkg/yarn/issues/7329

Je me demandais ce que cela ferait de fonctionner en tant qu'utilisateur root, mais à la fin, je me suis lancé en tant que root. ..

git clone https://github.com/PAIR-code/lit.git ~/lit

# Set up Python environment
cd ~/lit
conda env create -f environment.yml
conda activate lit-nlp
conda install cudnn cupti  # optional, for GPU support
conda install -c pytorch pytorch  # optional, for PyTorch

# Build the frontend
cd ~/lit/lit_nlp/client
######Je n'ai pas de fil donc je vais l'installer
#Simplement"apt-get install yarn"Si tel est le cas, une erreur se produira après cela, alors exécutez ce qui suit
curl https://deb.nodesource.com/setup_12.x | bash
curl https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add -
echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list
apt-get update && apt-get install -y nodejs yarn postgresql-client
######
yarn && yarn build

L'installation du package, etc. est terminée et la préparation de l'environnement virtuel est terminée.

3-3. Modifier les paramètres pour accéder au serveur à partir de l'hôte

Le reste est en fait un exemple de programme Avec l'exemple tel quel **, j'ai démarré un serveur pour écouter sur l'hôte local du conteneur Docker, Puisqu'il n'est pas accessible à partir de l'hôte **, réécrivez l'exemple de programme afin que le serveur soit configuré à ** 0.0.0.0. ** **

Tout d'abord, ** installez vim **.

apt-get install vim

Exécutez la commande suivante pour ouvrir le fichier ** server_flags.py **. (Si nécessaire, effectuez une sauvegarde avant de modifier.)

vi /root/lit/lit_nlp/server_flags.py

Réécrivez la partie suivante et enregistrez-la.

#flags.DEFINE_string('host', '127.0.0.1', 'What host address to serve on.')
flags.DEFINE_string('host', '0.0.0.0', 'What host address to serve on.')

Plus tard, je vais mettre l'option de transfert de port et appuyer sur la commande ** docker run **, donc je vais enregistrer le conteneur en tant qu'image. Tout d'abord, sortez.

exit

Exécutez la commande ** docker commit ** et enregistrez le conteneur nommé ** lit_env ** en tant qu'image. (Il est enregistré sous ** lit_env_img **, mais le nom est bien sûr arbitraire.)

docker commit lit_env lit_env_img

3-4. Exécution d'un exemple de programme

Si vous suivez le LIT README, vous lancerez plus tard le serveur avec ** - port5432 **. .. Par conséquent, exécutez la commande ** docker run ** avec l'option de transfert de port spécifiée pour ** port côté conteneur comme 5432 **. (Bien sûr, le numéro de port côté hôte est arbitraire.)

docker run -it -p 5432:5432 lit_env_img /bin/bash

Exécutez une démonstration de la tâche de classification des émotions, qui est un exemple de programme. Il semble que ce soit un réglage fin d'environ 3 époques.

conda activate lit-nlp
cd ~/lit
python -m lit_nlp.examples.quickstart_sst_demo --port=5432

Il est terminé lorsque le message suivant est émis.

Starting Server on port 5432 You can navigate to 0.0.0.0:5432

Accédez à l'URL suivante à partir du navigateur côté hôte.

http://127.0.0.1:5432/

Vous devriez pouvoir y accéder normalement.

Ceci termine la procédure de construction de l'environnement sous l'environnement Windows 10 Famille.

4. Enfin

Cette fois, j'ai changé divers paramètres pour éviter l'erreur. Comme vous pouvez le voir dans LIT Issue, Puisqu'il y a eu pas mal d'échanges au cours de la semaine dernière, y compris le contenu, Il peut y avoir des mises à jour dans un proche avenir. Si cela se produit, je pense qu'il sera plus facile de créer un environnement.

La prochaine fois, j'aimerais jeter un coup d'œil aux différentes fonctions LIT!

[PYTHON] Exécuter l'outil d'interprétation du langage (LIT) dans l'environnement Windows 10 (1. Construction de l'environnement)