Erstellen einer Umgebung für die Verarbeitung natürlicher Sprache mit Python

Dies ist ein Memo für mich, aber wenn Sie sich darauf beziehen können.

1. Version nach Umgebungskonstruktion

2-1. [Für Mac] Python mit Homebrew installieren

Installieren Sie "Homebrew"   ↓ Installieren Sie "pyenv" mit "Homebrew"   ↓ Installieren Sie "Python" mit "pyenv"

(1) Installation von Homebrew

Offizielle Homebrew-Dokumentation: https://brew.sh/index_ja

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Sie werden aufgefordert, unterwegs die Eingabetaste zu drücken. Drücken Sie sie daher gemäß den Anweisungen. Sie werden auch aufgefordert, die PW einzugeben, wenn Sie sich unterwegs am PC anmelden. Geben Sie das Passwort gemäß den Anweisungen ein (der eingegebene Inhalt wird jedoch nicht auf dem Bildschirm angezeigt) und drücken Sie die Eingabetaste.

Überprüfen Sie nach Abschluss der Installation die Version mit dem folgenden Befehl.

$ brew -v
Homebrew 2.2.2
Homebrew/homebrew-core (git revision d7286b; last commit 2020-01-01)

(2) Installation von Pyenv

Installieren Sie pyenv (ein Tool zum Erstellen und Verwalten mehrerer Versionen der Python-Umgebung in demselben Terminal) mit Homebrew. Das GitHub-Repository von pyenv: https://github.com/pyenv

$ brew install pyenv

Überprüfen Sie nach Abschluss der Installation die Version mit dem folgenden Befehl.

$ pyenv -v
pyenv 1.2.13

pyenv settings: Einstellungscode zu .bash_profile hinzugefügt. Führen Sie die folgende Befehlszeile zeilenweise aus (es sieht so aus, als ob nichts passiert, aber das ist in Ordnung).

$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile

(3) Python-Installation

Installieren Sie Python mit pyenv.

Führen Sie zunächst den folgenden Befehl aus, um die Version von Python zu überprüfen, die mit pyenv installiert werden kann.

$ pyenv install --list
#Die Version von Python, die ohne das Präfix des Ausführungsergebnisses installiert werden kann
 2.1.3
 2.2.3
 2.3.7
・ ・ ・
 3.6.5
 3.6.6
 3.6.7
・ ・ ・

Davon ist das relativ neue Python 3.6.5 installiert.

$ pyenv install 3.6.5

Überprüfen Sie nach Abschluss der Installation die installierte Python-Version mit dem folgenden Befehl.

$ pyenv versions
system
* 3.6.5 (set by /Users/hoge/.pyenv/version)

Führen Sie den folgenden Befehl aus, um die Einstellungen für die Verwendung der oben installierten Python-Version zu ändern (andernfalls wird weiterhin die Standardversion von Python auf Ihrem Mac verwendet).

$ pyenv global 3.6.5

Führen Sie den folgenden Befehl aus, um die von Ihnen verwendete Python-Version zu überprüfen.

$ Python --version
Python 3.6.5

2-2. [Für Windows] Installieren Sie Python von der offiziellen Website

Wählen Sie auf der folgenden Website "Release version = Python 3.6.5" aus, laden Sie es herunter und installieren Sie es gemäß den Anweisungen.

Python 3.6.5-Download-Seite (offiziell): https://www.python.org/downloads/release/python-365/

Es scheint, dass jede herunterzuladende Datei für Windows ist, aber wenn Sie nicht besonders darauf eingehen, wählen Sie "Windows x86-64 ausführbares Installationsprogramm".

Wenn Sie die heruntergeladene Datei öffnen, wird am unteren Bildschirmrand ein Kontrollkästchen mit dem Namen "Python 3.6 zu PATH hinzufügen" angezeigt. Überprüfen Sie dies und klicken Sie auf "Jetzt installieren".

Führen Sie nach Abschluss der Installation den folgenden Befehl an der Eingabeaufforderung (sogenannter schwarzer Bildschirm) aus, um die Version zu überprüfen.

$ Python --version
Python 3.6.5

settings.json


{
    "terminal.integrated.shell.windows": "C:\\WINDOWS\\System32\\cmd.exe"
}

3. Installation der erforderlichen Bibliotheken [gemeinsam für Mac / Windows]

(1) Installation von Numpy

$ pip install numpy===1.15.0

(2) Installation von SciPy

$ pip install scipy===1.1.0

(3) Installation von Pandas

$ pip install pandas===0.23.3

(4) Installation von Scikit-Learn

$ pip install scikit-learn===0.19.2

(5) Installation von MeCab

$ pip install mecab-python3===0.996.2
$ pip install ipykernel
$ pip install mecab-python-windows

(6) Installation von neplogdn

$ pip install neologdn===0.3.2
$ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
$ cd mecab-ipadic-neologd
$ ./bin/install-mecab-ipadic-neologd -n -a

[install-mecab-ipadic-NEologd] : Start..
[install-mecab-ipadic-NEologd] : Check the existance of libraries
・ ・ ・
[test-mecab-ipadic-NEologd] : Please check difference between default system dictionary and mecab-ipadic-NEologd

default system dictionary        |     mecab-ipadic-NEologd
Shiro Sano|Shiro Sano
Polizeischule|Polizeischule
Mizore|Mizore
Um|Koron
Tarako|Tarakochi
Ichijo Tani Schloss|Ichijodani Schloss
Rajira|Rajira
Hayashi|Waldhauptstadt
Matsuko Treffen|Matsuko Treffen
Anzeigenstadt|Anzeigenstraße

[test-mecab-ipadic-NEologd] : Finish..
[install-mecab-ipadic-NEologd] : Please check the list of differences in the upper part.
[install-mecab-ipadic-NEologd] : Do you want to install mecab-ipadic-NEologd? Type yes or no.
yes #"Geben Sie ja ein" hier
[install-mecab-ipadic-NEologd] : OK. Let's install mecab-ipadic-NEologd.
[install-mecab-ipadic-NEologd] : Start..
[install-mecab-ipadic-NEologd] : /usr/local/lib/mecab/dic is current user's directory
・ ・ ・
[install-mecab-ipadic-NEologd] : Install completed.
[install-mecab-ipadic-NEologd] : When you use MeCab, you can set '/usr/local/lib/mecab/dic/mecab-ipadic-neologd' as a value of '-d' option of MeCab.
[install-mecab-ipadic-NEologd] : Usage of mecab-ipadic-NEologd is here.
Usage:
    $ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd ...

[install-mecab-ipadic-NEologd] : Finish..
[install-mecab-ipadic-NEologd] : Finish..

#Die Installation ist abgeschlossen. Geben Sie NEologd als das von mecab verwendete Wörterbuch mit dem folgenden Befehl an
$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd
In den letzten Jahren wurde aktiv an der Verarbeitung natürlicher Sprache geforscht.
Nomenklatur der letzten Jahre,Anwalt möglich,*,*,*,*,den letzten Jahren,Kinnen,Kinnen
Ist ein Assistent,Hilfe,*,*,*,*,Ist,C.,Beeindruckend
Nomenklatur für die Verarbeitung natürlicher Sprache,Eigenname,Allgemeines,*,*,*,Verarbeitung natürlicher Sprache,Shizengen Goshori,Shizengen Goshori
Hilfswörter,Union,*,*,*,*,von,Nein,Nein
Forschungsnomenklatur,Verbindung ändern,*,*,*,*,die Studium,Kenkyu,Kenkyu
Ist ein Assistent,Fallassistent,Allgemeines,*,*,*,Aber,Ga,Ga
Populäre Nomenklatur,Adjektiv Verbstamm,*,*,*,*,Gedeihen,Sakan,Sakan
Ist ein Hilfsverb,*,*,*,Besonderer Tod,Grundform,ist,Tod,Tod
EOS
#Das Standard-IPAdic ist in drei Wörter unterteilt: "natürlich", "Sprache" und "Verarbeitung", aber NEologd verarbeitet in einem Wort.
#Bei Verwendung von Python-Code MeCab.Tagger()Zum Argument von'-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd'Angegeben.

(7) Installation von TensorFlow

$ pip install tensorflow===1.14.0

(8) Installation von Keras

$ pip install Keras===2.1.6

(9) Installation von Gensim

$ pip install gensim===3.5.0

(10) Installation von Hyperopt

$ pip install hyperopt===0.1.1

(11) Installation von Matplotlib

$ pip install matplotlib===3.1.2

Überprüfen Sie die installierten Bibliotheken

Überprüfen Sie die installierte Bibliothek und ihre Version mit dem folgenden Befehl.

$ pip list

Capture: Pip-SSL-Fehler

Beim Versuch, jede Bibliothek mit dem Befehl pip zu installieren, wird möglicherweise die folgende Fehlermeldung angezeigt.

# pip3 install hoge
pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Collecting hoge
  Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=2, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Could not fetch URL https://hoge/hoge/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='hoge', port=hoge): Max retries exceeded with url: /hoge/hoge/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)) - skipping
  Could not find a version that satisfies the requirement hoge (from versions: )
No matching distribution found for hoge

Dies liegt daran, dass openssl nicht installiert ist. In diesem Fall funktioniert es, wenn Sie openssl wie unten gezeigt installieren und dann Python erneut installieren (nur für Mac ist Windows nicht bestätigt).

# 1.Installiere openssl.
$ brew install openssl

# 2.Das bevorzugte SSL von LibreSSL wurde in OpenSSL geändert, das oben installiert wurde.
$ echo 'export PATH="/usr/local/opt/openssl/bin:$PATH"' >> ~/.bash_profile

# 3.Beenden Sie das Terminal und starten Sie es neu. Überprüfen Sie danach die Version und OK, wenn OpneSSL angezeigt wird.
$ openssl version
OpenSSL 1.1.1d  10 Sep 2019

# 4.Installieren Sie Python neu.
$ pyenv install 3.6.5

Recommended Posts

Erstellen einer Umgebung für die Verarbeitung natürlicher Sprache mit Python
Erstellen einer Anaconda-Umgebung für Python mit pyenv
3. Verarbeitung natürlicher Sprache durch Python 2-1. Netzwerk für das gleichzeitige Auftreten
3. Verarbeitung natürlicher Sprache durch Python 1-1. Word N-Gramm
Dockerfile mit den notwendigen Bibliotheken für die Verarbeitung natürlicher Sprache mit Python
3. Verarbeitung natürlicher Sprache durch Python 2-2. Koexistenznetzwerk [mecab-ipadic-NEologd]
Erstellen einer Umgebung zum Ausführen von Python-Skripten (für Mac)
[Python] Ich habe mit der Verarbeitung natürlicher Sprache ~ Transformatoren ~ gespielt
Verschiedene Befehle zum Erstellen einer Umgebung mit Apache
Bildverarbeitung mit Python Environment Setup für Windows
Versuchen Sie, mit VisualStudioCode eine Umgebung für MayaPython zu erstellen
100 Sprachverarbeitungsklopfen mit Python 2015
Richten Sie eine Entwicklungsumgebung für die Verarbeitung natürlicher Sprache ein
Hinweise von der Installation von Homebrew bis zum Erstellen einer Anaconda-Umgebung für Python mit pyenv
Studieren Sie die Verarbeitung natürlicher Sprache mit Kikagaku
Verarbeitung natürlicher Sprache für vielbeschäftigte Menschen
[Verarbeitung natürlicher Sprache] Vorverarbeitung mit Japanisch
100 Sprachverarbeitungsklopfen mit Python (Kapitel 3)
Erstellen einer virtuellen Umgebung mit Python 3
[Python] Erstellen einer Umgebung für die Wettbewerbsprogrammierung mit Atom (input () kann verwendet werden!) [Mac]
[Pyenv] Erstellen einer Python-Umgebung mit Ubuntu 16.04
Erstellen Sie eine Umgebung für das in Blender integrierte Python
Erstellen einer Windows 7-Umgebung für eine Einführung in das maschinelle Lernen mit Python
Hinweise beim Erstellen einer Umgebung mit Python
Erstellen einer Python 3.6-Umgebung mit Windows + PowerShell
[Mac] Erstellen einer virtuellen Umgebung für Python
100 Sprachverarbeitungsklopfen mit Python (Kapitel 2, Teil 1)
Ich habe versucht, natürliche Sprache mit Transformatoren zu verarbeiten.
Fallstudie zur Verarbeitung natürlicher Sprache: Worthäufigkeit in 'Anne mit einem E'
Erstellen einer Python-Entwicklungsumgebung für die KI-Entwicklung
Erstellen einer Umgebung für "Tello_Video" mit Raspbian
Erstellen einer Umgebung für "Tello_Video" unter Windows
[Definitive Edition] Erstellen einer Umgebung zum Erlernen des "maschinellen Lernens" mit Python unter Windows
[Definitive Edition] Erstellen einer Umgebung zum Erlernen des "maschinellen Lernens" mit Python auf dem Mac
3. Verarbeitung natürlicher Sprache mit Python 1-2. So erstellen Sie einen Korpus: Aozora Bunko
Selen + WebDriver (Chrome) + Python | Erstellen einer Umgebung zum Scraping
Erstellen Sie mit boot2docker eine Ausführungsumgebung für jede Sprache
Erstellen einer Python-Umgebung mit virtualenv und direnv
Erstellen einer Umgebung, die Python mit Eclipse verwendet
Python: Tiefes Lernen in der Verarbeitung natürlicher Sprache: Grundlagen
Befehle zum Erstellen einer Python3-Umgebung mit virtualenv
Einführung in Python "Re" 1 Erstellen einer Ausführungsumgebung
Lassen Sie uns die Verarbeitung natürlicher Sprache mit der COTOHA-API genießen
RNN_LSTM2 Verarbeitung natürlicher Sprache
Python-Umgebung mit Docker-Compose
Bildverarbeitung mit Python
Virtuelle Umgebung mit Python 3.6
Wartung der Python-Umgebung für Projekte
3. Verarbeitung natürlicher Sprache durch Python 3-1. Wichtiges Tool zur Wortextraktion TF-IDF-Analyse [Originaldefinition]
Erstellen einer Umgebung zur Einhaltung des Python-Codierungsstandards (PEP8) mit Eclipse + PyDev
Ich habe ein Einführungsbuch über die Verarbeitung natürlicher Sprache gelesen
Erstellen einer Python-Umgebung mit pyenv, pyenv-virtualenv, Anaconda (Miniconda)
Schreiben Sie über das Erstellen einer Python-Umgebung zum Schreiben von Qiita Qiita