[PYTHON] Effectuer une analyse morphologique dans l'environnement d'apprentissage automatique lancé par GCE

Chose que tu veux faire

Dans l'environnement d'apprentissage automatique (Ubuntu 16.04 LTS) lancé par GCE, j'ai d'abord installé un logiciel d'analyse morphologique afin d'effectuer le traitement du langage naturel. Cependant, il a fallu beaucoup de temps pour l'installer, je vais donc le laisser sous forme de mémorandum.

Bibliothèques de logiciels installées

Peut être installé uniquement avec l'installation de pip, janome est omis

Installez Mecab

Installer Mecab et dictionnaire (version UTF-8)

sudo apt-get install mecab mecab-ipadic-utf8

Si vous ne les incluez pas, mecab-python ne s'installera pas correctement

sudo apt-get install libmecab-dev sudo apt-get install build-essential

Enfin, installez la bibliothèque pour appeler Mecab depuis pthon3.x

pip install mecab-python3

Installation de JUMAN ++

 J'ai quelques packages nécessaires et je ne peux pas les installer correctement, JUMAN ++
 J'ai entendu dire que la capacité d'analyse morphologique est plus que Mecab, donc je voulais absolument l'installer, et j'ai vérifié diverses choses et cela a fonctionné avec la procédure suivante

Pour utiliser JUMAN ++ en premier

Installez les packages requis Cela prend un certain temps

sudo apt install checkinstall auto-apt ccache sudo auto-apt update sudo apt install google-perftools libgoogle-perftools-dev libboost-dev

Téléchargez et décompressez JUMAN ++

wget http://lotus.kuee.kyoto-u.ac.jp/nl-resource/jumanpp/jumanpp-1.01.tar.xz tar xJvf jumanpp-1.01.tar.xz

Puis installez JUMAN ++

auto-apt run ./configure CC="ccache gcc" CFLAGS="-O3" CXX="ccache g++" CXXFLAGS="-O3" make sudo checkinstall

Désormais, lorsque la version sortira comme suit, l'installation de JUMAN ++ est terminée avec succès

jumanpp -v

JUMAN++ 1.01

Pour utiliser JUMAN ++ depuis Python

 L'installation continue d'utiliser JUMAN ++ avec Python

Installez dans l'ordre JUMAN → KNP → PyKNP, en vous référant à Utilisation de JUMAN ++ depuis Python.

Cependant, n'est-il pas enregistré dans la bibliothèque Python uniquement pour ce qui précède? Il ressemble, alors enfin exécutez ce qui suit pour terminer

pip install ./pyknp-0.3

Essayez l'analyse morphologique

 Dans l'analyse morphologique, essayez de mettre en œuvre le «gouvernement étranger» qui est souvent utilisé dans Mecab, JUMAN ++, Janome

Pour Mecab

import MeCab
mecab = MeCab.Tagger("-Ochasen")
print(mecab.parse("Gouvernement des étrangers"))
Nomenclature étrangère Gaikoku étrangère-Général
Nomenclature de carotte carotte ginseng-Général
Administration Seiken Administration Nominal-Général
EOS

Pour JUMAN ++

from pyknp import Jumanpp
jumanpp = Jumanpp()
r=jumanpp.analysis("Gouvernement des étrangers")
for m in r.mrph_list():
    print(m.midasi)
Pays étrangers
Homme
Participation
Droite

Pour Janome

from janome.tokenizer import Tokenizer
t = Tokenizer()
tokens = t.tokenize('Gouvernement des étrangers')
for token in tokens:
    print(token)
Nomenclature étrangère,Général,*,*,*,*,Pays étrangers,Gaikoku,Gaikoku
Ginseng substantif,Général,*,*,*,*,carotte,carotte,carotte
Nomenclature d'administration,Général,*,*,*,*,administration,Seiken,Seiken

Après tout, JUMAN ++ est bon.

Site référencé

Text mining avec Python ① Analyse morphologique (re: version Linux)

[Comment installer JUMAN ++ sur Ubuntu 16.04 LTS] (http://qiita.com/SUZUKI_Masaya/items/29c81d037cdf7d37b900)

[Comment installer un logiciel sur Ubuntu en utilisant auto-apt, checkinstall, ccache] (http://qiita.com/SUZUKI_Masaya/items/bd03f39e20a1a8f7f4f6#%E5%BF%85%E8%A6%81%E3%81%AA%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB)

Utilisation de JUMAN ++ depuis Python

Recommended Posts

Effectuer une analyse morphologique dans l'environnement d'apprentissage automatique lancé par GCE
Prétraitement dans l'apprentissage automatique 1 Processus d'analyse des données
Différence dans les résultats de l'analyse morphologique selon le dictionnaire Mecab
Analyse de l'utilisation de l'espace partagé par l'apprentissage automatique
Histoire de l'analyse de données par apprentissage automatique
J'ai essayé de prédire l'évolution de la quantité de neige pendant 2 ans par apprentissage automatique
Créez un environnement interactif pour l'apprentissage automatique avec Python
Essayez de faire une stratégie de blackjack en renforçant l'apprentissage (② Enregistrer l'environnement dans le gymnase)
À propos des tests dans la mise en œuvre de modèles d'apprentissage automatique
[Apprentissage automatique] Ecrivez vous-même la méthode k-plus proche voisin en python et reconnaissez les nombres manuscrits.
Le résultat de l'apprentissage automatique des ingénieurs Java avec Python www
Enquête sur l'utilisation du machine learning dans les services réels
Prédire la présence ou l'absence d'infidélité par l'apprentissage automatique
Lancement d'un environnement d'apprentissage automatique à l'aide de Google Compute Engine (GCE)
Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer Chapitre 7 Analyse de régression
Défis d'apprentissage automatique de Coursera en Python: ex7-2 (analyse principale)
Visualisez la matrice de corrélation par l'analyse des composants principaux avec Python
Apprentissage automatique dans Delemas (s'entraîner)
Créer un environnement d'apprentissage automatique
Utilisé en EDA pour l'apprentissage automatique
4 [/] Quatre arithmétiques par apprentissage automatique
Que diriez-vous d'Anaconda pour créer un environnement d'apprentissage automatique avec Python?
[Compris dans la figure] Gestion de l'environnement virtuel Python par Pipenv
Analyse morphologique de phrases contenant des mots récents dans un environnement Windows10 64 bits
Apprenez le machine learning à tout moment et en tout lieu dans l'environnement Jupyter Notebook à la demande
Les gens mémorisent les connaissances acquises dans le cerveau, comment mémoriser les connaissances acquises dans l'apprentissage automatique
Préparez un environnement d'analyse haute vitesse en accédant à mysql depuis l'environnement d'analyse de données
Exécutez Polyglot sur Raspberry Pi pour effectuer une analyse morphologique en anglais
Résumé de l'apprentissage automatique par les débutants de Python
Algorithme d'apprentissage automatique (analyse de régression multiple)
Algorithme d'apprentissage automatique (analyse de régression unique)
Classification et régression dans l'apprentissage automatique
Apprentissage automatique dans Delemas (acquisition de données)
Python: prétraitement dans l'apprentissage automatique: présentation
Prétraitement dans l'apprentissage automatique 2 Acquisition de données
Recherche de semences aléatoires dans l'apprentissage automatique
Apprentissage automatique: analyse discriminante linéaire supervisée
Prétraitement dans l'apprentissage automatique 4 Conversion de données
Prédiction des données en un clic pour le champ réalisée par apprentissage automatique entièrement automatique
J'ai essayé l'analyse de dimension fractale par la méthode de comptage de boîtes en 3 dimensions
Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer jusqu'à la fin du chapitre 2
Déterminez l'authenticité des articles publiés par machine learning (API Google Prediction).