Créer un environnement pour le traitement du langage naturel avec Python

Ceci est une note pour moi, mais si vous pouvez vous y référer.

1. Version après la construction de l'environnement

2-1. [Pour Mac] Installation de Python avec Homebrew

Installez "Homebrew"   ↓ Installez "pyenv" en utilisant "Homebrew"   ↓ Installez "Python" en utilisant "pyenv"

(1) Installation de Homebrew

Documentation officielle Homebrew: https://brew.sh/index_ja

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Il vous sera demandé d'appuyer sur la touche «retour / entrée» en cours de route, alors appuyez dessus en suivant les instructions. Vous serez également invité à entrer le PW lors de la connexion au PC en cours de route. Saisissez le mot de passe conformément aux instructions (cependant, le contenu saisi ne s'affiche pas à l'écran) et appuyez sur la touche retour / entrée.

Une fois l'installation terminée, vérifiez la version avec la commande suivante.

$ brew -v
Homebrew 2.2.2
Homebrew/homebrew-core (git revision d7286b; last commit 2020-01-01)

(2) Installation de pyenv

Installez pyenv (un outil pour créer et gérer plusieurs versions de l'environnement Python dans le même terminal) à l'aide de Homebrew. Dépôt GitHub de pyenv: https://github.com/pyenv

$ brew install pyenv

Une fois l'installation terminée, vérifiez la version avec la commande suivante.

$ pyenv -v
pyenv 1.2.13

Paramètres pyenv: Ajout du code de configuration à .bash_profile. Exécutez la commande suivante ligne par ligne (il semble que rien ne se passe, mais c'est OK).

$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile

(3) Installation de Python

Installez Python à l'aide de pyenv.

Tout d'abord, exécutez la commande suivante pour vérifier la version de Python qui peut être installée avec pyenv.

$ pyenv install --list
#La version de Python qui peut être installée sans le préfixe du résultat de l'exécution
 2.1.3
 2.2.3
 2.3.7
・ ・ ・
 3.6.5
 3.6.6
 3.6.7
・ ・ ・

Parmi ceux-ci, le relativement nouveau Python 3.6.5 est installé.

$ pyenv install 3.6.5

Une fois l'installation terminée, vérifiez la version Python installée avec la commande suivante.

$ pyenv versions
system
* 3.6.5 (set by /Users/hoge/.pyenv/version)

Exécutez la commande suivante pour modifier les paramètres afin d'utiliser la version de Python installée ci-dessus (sinon la version standard de Python sur votre Mac continuera à être utilisée).

$ pyenv global 3.6.5

Exécutez la commande suivante pour vérifier la version de Python que vous utilisez.

$ Python --version
Python 3.6.5

2-2. [Pour Windows] Installez Python depuis le site officiel

Sélectionnez Release version = Python 3.6.5 sur le site suivant, téléchargez-le et installez-le selon les instructions.

Page de téléchargement de Python 3.6.5 (officielle): https://www.python.org/downloads/release/python-365/

Il semble que tout fichier à télécharger soit pour Windows, mais à moins que vous ne soyez particulier à ce sujet, sélectionnez Installateur exécutable Windows x86-64.

Lorsque vous ouvrez le fichier téléchargé, il y a une case à cocher «Ajouter Python 3.6 à PATH» en bas de l'écran qui apparaît. Vérifiez ceci et cliquez sur «Installer maintenant».

Une fois l'installation terminée, exécutez la commande suivante à l'invite de commande (appelée écran noir) pour vérifier la version.

$ Python --version
Python 3.6.5

settings.json


{
    "terminal.integrated.shell.windows": "C:\\WINDOWS\\System32\\cmd.exe"
}

3. Installation des bibliothèques requises [communes à Mac / Windows]

(1) Installation de Numpy

$ pip install numpy===1.15.0

(2) Installation de SciPy

$ pip install scipy===1.1.0

(3) Installation de Pandas

$ pip install pandas===0.23.3

(4) Installation de Scikit-Learn

$ pip install scikit-learn===0.19.2

(5) Installation de MeCab

$ pip install mecab-python3===0.996.2
$ pip install ipykernel
$ pip install mecab-python-windows

(6) Installation de neplogdn

$ pip install neologdn===0.3.2
$ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
$ cd mecab-ipadic-neologd
$ ./bin/install-mecab-ipadic-neologd -n -a

[install-mecab-ipadic-NEologd] : Start..
[install-mecab-ipadic-NEologd] : Check the existance of libraries
・ ・ ・
[test-mecab-ipadic-NEologd] : Please check difference between default system dictionary and mecab-ipadic-NEologd

default system dictionary        |     mecab-ipadic-NEologd
Shiro Sano|Shiro Sano
École de police|École de police
Mizore|Mizore
Autour|Koron
Tarako|Tarakochi
Château d'Ichijo Tani|Château d'Ichijodani
Rajira|Rajira
Hayashi|Capitale forestière
Réunion de Matsuko|Réunion de Matsuko
Ville de l'annonce|Rue de l'annonce

[test-mecab-ipadic-NEologd] : Finish..
[install-mecab-ipadic-NEologd] : Please check the list of differences in the upper part.
[install-mecab-ipadic-NEologd] : Do you want to install mecab-ipadic-NEologd? Type yes or no.
yes #"Entrez oui" ici
[install-mecab-ipadic-NEologd] : OK. Let's install mecab-ipadic-NEologd.
[install-mecab-ipadic-NEologd] : Start..
[install-mecab-ipadic-NEologd] : /usr/local/lib/mecab/dic is current user's directory
・ ・ ・
[install-mecab-ipadic-NEologd] : Install completed.
[install-mecab-ipadic-NEologd] : When you use MeCab, you can set '/usr/local/lib/mecab/dic/mecab-ipadic-neologd' as a value of '-d' option of MeCab.
[install-mecab-ipadic-NEologd] : Usage of mecab-ipadic-NEologd is here.
Usage:
    $ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd ...

[install-mecab-ipadic-NEologd] : Finish..
[install-mecab-ipadic-NEologd] : Finish..

#L'installation est terminée. Spécifiez NEologd comme dictionnaire utilisé par mecab avec la commande suivante
$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd
Ces dernières années, la recherche sur le traitement du langage naturel a été active.
Nomenclature ces dernières années,Avocat possible,*,*,*,*,ces dernières années,Kinnen,Kinnen
Est un assistant,Assistance,*,*,*,*,Est,C,sensationnel
Nomenclature du traitement du langage naturel,Nomenclature propriétaire,Général,*,*,*,Traitement du langage naturel,Shizengen Goshori,Shizengen Goshori
Mots auxiliaires,syndicat,*,*,*,*,de,Non,Non
Nomenclature de recherche,Changer de connexion,*,*,*,*,l'étude,Kenkyu,Kenkyu
Est un assistant,Assistant de cas,Général,*,*,*,Mais,Géorgie,Géorgie
Nomenclature populaire,Racine du verbe adjectif,*,*,*,*,Prospère,Sakan,Sakan
Est un verbe auxiliaire,*,*,*,Mort spéciale,Forme basique,est,mort,mort
EOS
#L'IPAdic par défaut est divisé en trois mots, «naturel», «langage» et «traitement», mais NEologd traite en un seul mot.
#Lors de l'utilisation à partir du code Python, MeCab.Tagger()À l'argument de'-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd'Est spécifié.

(7) Installation de TensorFlow

$ pip install tensorflow===1.14.0

(8) Installation de Keras

$ pip install Keras===2.1.6

(9) Installation de Gensim

$ pip install gensim===3.5.0

(10) Installation d'Hyperopt

$ pip install hyperopt===0.1.1

(11) Installation de Matplotlib

$ pip install matplotlib===3.1.2

Vérifier les bibliothèques installées

Vérifiez la bibliothèque installée et sa version avec la commande suivante.

$ pip list

Capture: erreur SSL pip

Lorsque vous essayez d'installer chaque bibliothèque avec la commande pip, le message d'erreur suivant peut apparaître.

# pip3 install hoge
pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Collecting hoge
  Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=2, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)': /simple/hoge/
  Could not fetch URL https://hoge/hoge/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='hoge', port=hoge): Max retries exceeded with url: /hoge/hoge/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)) - skipping
  Could not find a version that satisfies the requirement hoge (from versions: )
No matching distribution found for hoge

En effet, openssl n'est pas installé. Dans ce cas, si vous installez openssl comme indiqué ci-dessous, puis réinstallez Python, cela fonctionnera (uniquement pour Mac, Windows n'est pas confirmé).

# 1.Installez openssl.
$ brew install openssl

# 2.Changement du SSL préféré de LibreSSL à OpenSSL installé ci-dessus.
$ echo 'export PATH="/usr/local/opt/openssl/bin:$PATH"' >> ~/.bash_profile

# 3.Quittez le terminal et redémarrez-le. Après cela, vérifiez la version et OK lorsque OpneSSL s'affiche.
$ openssl version
OpenSSL 1.1.1d  10 Sep 2019

# 4.Réinstallez Python.
$ pyenv install 3.6.5

Recommended Posts

Créer un environnement pour le traitement du langage naturel avec Python
Construire un environnement Anaconda pour Python avec pyenv
3. Traitement du langage naturel par Python 2-1. Réseau de co-occurrence
3. Traitement du langage naturel par Python 1-1. Word N-gram
Dockerfile avec les bibliothèques nécessaires pour le traitement du langage naturel avec python
3. Traitement du langage naturel par Python 2-2. Réseau de co-occurrence [mecab-ipadic-NEologd]
Créer un environnement pour exécuter des scripts Python (pour Mac)
[Python] J'ai joué avec le traitement du langage naturel ~ transformers ~
Diverses commandes pour créer un environnement avec Apache
Traitement d'image avec la configuration de l'environnement Python pour Windows
Essayez de créer un environnement pour MayaPython avec VisualStudioCode
100 coups de traitement du langage avec Python 2015
Mettre en place un environnement de développement pour le traitement du langage naturel
Notes de l'installation de Homebrew à la création d'un environnement Anaconda pour Python avec pyenv
Étudiez le traitement du langage naturel avec Kikagaku
Traitement du langage naturel pour les personnes occupées
[Traitement du langage naturel] Prétraitement avec le japonais
100 traitements de langage avec Python (chapitre 3)
Créer un environnement virtuel avec Python 3
[Python] Construire un environnement pour la programmation de compétition avec Atom (input () peut être utilisé!) [Mac]
[Pyenv] Construire un environnement python avec ubuntu 16.04
Créer un environnement pour Python intégré à Blender
Création d'un environnement Windows 7 pour une introduction à l'apprentissage automatique avec Python
Remarques lors de la création d'un environnement avec python
Création d'un environnement Python 3.6 avec Windows + PowerShell
[Mac] Création d'un environnement virtuel pour Python
100 traitements de langage avec Python (chapitre 2, partie 1)
J'ai essayé le traitement du langage naturel avec des transformateurs.
Étude de cas sur le traitement du langage naturel: Fréquence des mots dans'Anne avec un E '
Créer un environnement de développement Python pour le développement de l'IA
Construire un environnement pour "Tello_Video" avec Raspbian
Création d'un environnement pour "Tello_Video" sous Windows
[Definitive Edition] Création d'un environnement d'apprentissage "machine learning" à l'aide de Python sous Windows
[Definitive Edition] Création d'un environnement pour l'apprentissage du «machine learning» à l'aide de Python sur Mac
3. Traitement du langage naturel avec Python 1-2. Comment créer un corpus: Aozora Bunko
Selenium + WebDriver (Chrome) + Python | Création d'un environnement pour le scraping
Créez un environnement d'exécution pour chaque langue avec boot2docker
Construire un environnement python avec virtualenv et direnv
Créer un environnement qui utilise Python avec Eclipse
Python: apprentissage profond du traitement du langage naturel: principes de base
Commandes pour créer un environnement python3 avec virtualenv
Introduction à Python "Re" 1 Construction d'un environnement d'exécution
Profitons du traitement du langage naturel à l'aide de l'API COTOHA
RNN_LSTM2 Traitement du langage naturel
environnement python avec docker-compose
Traitement d'image avec Python
Environnement virtuel avec Python 3.6
Maintenance de l'environnement Python pour les projets
3. Traitement du langage naturel par Python 3-1. Important outil d'extraction de mots Analyse TF-IDF [définition originale]
Construire un environnement conforme à la norme de codage Python (PEP8) avec Eclipse + PyDev
J'ai lu un livre d'introduction sur le traitement du langage naturel
Construire un environnement Python avec pyenv, pyenv-virtualenv, Anaconda (Miniconda)
Écrire sur la création d'un environnement Python pour l'écriture de Qiita Qiita