Google Research hat die Open-Source-Plattform Language Interpretability Tool (LIT) zum Verständnis und zur Visualisierung von NLP-Modellen bereitgestellt. Ich würde es gerne ausprobieren.

Alle 3 Artikel sind geplant. ** 1. Führen Sie das Language Interpretability Tool (LIT) in einer Windows 10-Umgebung aus (1. Umgebungskonstruktion) [Dieser Artikel] ** 2. Führen Sie das Language Interpretability Tool (LIT) in einer Windows 10-Umgebung aus (2. Funktionsprüfung). 3. Führen Sie das Language Interpretability Tool (LIT) in einer Windows 10-Umgebung aus (3. Originalmodell).

Dieser Artikel beschreibt das ** Umgebungskonstruktionsverfahren ** in der ** Windows 10 Home-Umgebung **.

Inhaltsverzeichnis

[Was ist LIT](Was ist # 1-beleuchtet)
[Installieren von Docker Desktop für Windows](# 2 - Installieren von Docker Desktop für Windows)
[LIT-Beispielprogramm ausführen](# 3 - Beleuchtetes Beispielprogramm ausführen)
[Endlich](# 4 - Endlich)

1. Was ist LIT?

Das Language Interpretability Tool (LIT) ist ein Tool zum Verstehen und Visualisieren von NLP-Modellen.

Die browserbasierte Benutzeroberfläche bietet die folgenden Funktionen: (Auszug aus dem Papier)

Wenn Sie weitere Einzelheiten erfahren möchten, lesen Sie bitte die folgenden Informationen.

Das Papier ist hier
GitHub ist hier
Klicken Sie hier für eine Bedienungsanleitung (https://github.com/PAIR-code/lit/blob/main/docs/user_guide.md)

Ich habe das Gefühl, dass ich nichts sagen kann, wenn ich diese Werkzeuge nicht berühre, also habe ich beschlossen, sie auszuprobieren.

2. Installieren Sie Docker Desktop für Windows

Installieren Sie dieses Mal ** Docker Desktop für Windows ** in ** Windows 10 Home-Umgebung **, um einen Server mit Docker einzurichten.

2-1. Erstellung der Docker-ID

Verfahren weggelassen Plötzlich ist es einfach, also überspringe ich die Schritte. Erstellen Sie eine Docker-ID unter der folgenden URL. https://hub.docker.com/

2-2 Windows 10 Home Update

Beim Versuch, Docker Desktop für Windows zu installieren, wurde in meiner Umgebung der folgende Fehler angezeigt.

Docker Desktop requires Windows 10 Pro/Enterprise (15063+) or Windows 10 Home (19018+).

Der obige Wortlaut wird auf dem Bildschirm angezeigt.

Es sieht so aus, als ob ** Windows vor der Installation aktualisiert werden muss **.

Führen Sie die folgenden Schritte aus, um Windows 10 Home zu aktualisieren. ** Windows-Startmenü → Einstellungen → Update von Windows Update ausführen ** Es endete nicht einmal nach einer Stunde Wartezeit, aber es endete, als ich schlief und aufwachte.

Als ich es am Morgen sah, wurde es sicher auf die folgende Version aktualisiert.

2-3. Installieren von Docker Desktop für Windows

Ich werde es tatsächlich installieren. Klicken Sie unter der folgenden URL auf ** Download für Windows (stabil) **, um das Installationsprogramm herunterzuladen. https://www.docker.com/products/docker-desktop

Als ich auf das Installationsprogramm doppelklickte und die Schritte befolgte, trat der folgende Fehler auf: Es sieht aus wie ** Ich muss den Linux-Kernel aktualisieren **. Klicken Sie wie angegeben auf den Link.

Sie werden zum MS-Handbuch weitergeleitet. ** Laden Sie das Linux-Kernel-Update-Paket herunter **.

Führen Sie das heruntergeladene ** wsl_update_x64.msi ** aus. Es endet in einem Augenblick.

Kehren Sie danach zum Verfahren zurück und führen Sie alle Schritte aus. ** Die Installation von Docker Desktop für Windows ist abgeschlossen. **

Referenz

Artikel von Menschen, die ähnliche Fehler gemacht haben https://tech.guitarrapc.com/entry/2020/04/21/034236

Unterschied zwischen "Docker Toolbox" und "Docker Desktop für Windows" https://fumidzuki.com/knowledge/1033/

3. Führen Sie das LIT-Beispielprogramm aus

Richten Sie abschließend einen Server in Docker ein, indem Sie das Beispielprogramm ** quickstart_sst_demo.py ** ausführen. Sie werden es von der Host-Seite mit einem Browser sehen.

In LIT README wird die Umgebung mit conda erstellt Bereiten Sie die virtuelle Umgebung vor und konfigurieren Sie die Einstellungen so, dass der Host auf den Server zugreifen kann.

3-1. Änderung der WSL2-Speicherzuordnung

Bevor Sie mit der Vorbereitung der virtuellen Umgebung beginnen, nehmen Sie eine ** Änderung der Speicherzuordnung von WSL2 ** vor. Wenn Sie dies nicht tun, werden standardmäßig ** 80% des Arbeitsspeichers Ihres PCs zugewiesen **, und in meinem Fall handelt es sich um einen 16-GB-PC, sodass ungefähr 13 GB Speicher zugewiesen werden.

Die Vorgehensweise ist einfach: Erstellen Sie eine **. Wslconfig ** -Datei in **% UserProfile% ** auf der Hostseite und geben Sie die Speicherzuordnung an. 3 GB waren genug, um die Demo auszuführen.

`~/.wslconfig`


[wsl2]
memory=3GB

3-2 Vorbereitung der virtuellen Umgebung

** Ziehen Sie den Docker-Container mit Anaconda und starten Sie ihn. ** **. Über die Befehlszeile: (Der Containername ** lit_env ** kann beliebig geändert werden.) Referenz: https://hub.docker.com/r/continuumio/anaconda3

docker pull continuumio/anaconda3
docker run -it --name lit_env continuumio/anaconda3 /bin/bash

Wenn Sie den Docker-Container starten, wird der Standardname der virtuellen Umgebung ** base ** aktiviert **.

Als nächstes ** installieren Sie die erforderlichen Pakete **. Grundsätzlich verfahren Sie nach dem Verfahren von READ ME, aber wenn es so bleibt, wie es ist, tritt ein Fehler auf, so dass ich es ein wenig geändert habe. Referenz: https://github.com/pair-code/lit/issues Referenz: https://github.com/yarnpkg/yarn/issues/7329

Ich habe mich gefragt, wie es wäre, als Root-Benutzer zu laufen, aber am Ende bin ich als Root gelaufen. ..

git clone https://github.com/PAIR-code/lit.git ~/lit

# Set up Python environment
cd ~/lit
conda env create -f environment.yml
conda activate lit-nlp
conda install cudnn cupti  # optional, for GPU support
conda install -c pytorch pytorch  # optional, for PyTorch

# Build the frontend
cd ~/lit/lit_nlp/client
######Ich habe kein Garn, also werde ich es installieren
#Einfach"apt-get install yarn"Wenn dies der Fall ist, tritt danach ein Fehler auf. Führen Sie daher die folgenden Schritte aus
curl https://deb.nodesource.com/setup_12.x | bash
curl https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add -
echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list
apt-get update && apt-get install -y nodejs yarn postgresql-client
######
yarn && yarn build

Die Installation des Pakets usw. ist abgeschlossen und die Vorbereitung der virtuellen Umgebung ist abgeschlossen.

3-3. Ändern Sie die Einstellungen, um vom Host aus auf den Server zuzugreifen

Der Rest trifft im Grunde nur das Beispielprogramm, Mit dem Beispiel wie es ist ** habe ich einen Server gestartet, um den lokalen Host des Docker-Containers abzuhören. Da vom Host ** nicht darauf zugegriffen werden kann **, schreiben Sie das Beispielprogramm neu, sodass der Server auf ** 0.0.0.0 eingerichtet ist. ** **.

Zuerst ** installiere vim **.

apt-get install vim

Führen Sie den folgenden Befehl aus, um die Datei ** server_flags.py ** zu öffnen. (Falls erforderlich, erstellen Sie vor dem Bearbeiten ein Backup.)

vi /root/lit/lit_nlp/server_flags.py

Schreiben Sie den folgenden Teil neu und speichern Sie.

#flags.DEFINE_string('host', '127.0.0.1', 'What host address to serve on.')
flags.DEFINE_string('host', '0.0.0.0', 'What host address to serve on.')

Später werde ich die Port-Forward-Option einfügen und den Befehl ** docker run ** drücken, um den Container als Image zu speichern. Beenden Sie zuerst.

exit

Führen Sie den Befehl ** docker commit ** aus und speichern Sie den Container mit dem Namen ** lit_env ** als Image. (Es wird als ** lit_env_img ** gespeichert, aber der Name ist natürlich beliebig.)

docker commit lit_env lit_env_img

3-4 Ausführung des Beispielprogramms

Wenn Sie der LIT README folgen, starten Sie den Server später mit ** - port5432 **. .. Führen Sie daher den Befehl ** docker run ** mit der Option für die Portweiterleitung aus, die für den ** Port auf der Containerseite als 5432 ** angegeben ist. (Natürlich ist die Portnummer auf der Hostseite beliebig.)

docker run -it -p 5432:5432 lit_env_img /bin/bash

Führen Sie eine Demo der Emotionsklassifizierungsaufgabe aus, bei der es sich um ein Beispielprogramm handelt. Es scheint, dass es eine Feinabstimmung über 3 Epochen ist.

conda activate lit-nlp
cd ~/lit
python -m lit_nlp.examples.quickstart_sst_demo --port=5432

Es ist abgeschlossen, wenn die folgende Nachricht ausgegeben wird.

Starting Server on port 5432 You can navigate to 0.0.0.0:5432

Greifen Sie über den Browser auf der Hostseite auf die folgende URL zu.

http://127.0.0.1:5432/

Sie sollten normal darauf zugreifen können.

Damit ist die Erstellung der Umgebung in der Windows 10 Home-Umgebung abgeschlossen.

4. Schließlich

Dieses Mal habe ich verschiedene Einstellungen geändert, um den Fehler zu vermeiden. Wie Sie aus der LIT-Ausgabe ersehen können, Da es in der letzten Woche einige Austausche gegeben hat, einschließlich der Inhalte, Möglicherweise werden in naher Zukunft Aktualisierungen vorgenommen. In diesem Fall wird es meiner Meinung nach einfacher sein, eine Umgebung aufzubauen.

Nächstes Mal möchte ich mir verschiedene LIT-Funktionen ansehen!

[PYTHON] Führen Sie das Language Interpretability Tool (LIT) in einer Windows 10-Umgebung aus (1. Umgebungskonstruktion)