De la préparation à l'analyse morphologique avec python en utilisant polyglotte au marquage des mots partiels

Préparation

Utilisez polyglot (Document).

Ce qui suit a été confirmé pour fonctionner avec Python 3.8.5. Première,

pip install numpy
pip install polyglot
pip install six
pip install pycld2
pip install morfessor
pip install pyicu

Installez dans l'ordre de. Cependant, lorsque ModuleNotFoundError vous dit de mettre icu

pip install icu

ne pas

pip install pyicu

Laisser. Si vous essayez d'installer et d'utiliser icu, vous devriez obtenir l'erreur impossible d'importer le nom xxx. Notez qu'il s'agit d'un élément différent.

Si cela ne fonctionne pas, consultez Erreur lors de l'installation de pip pyicu.

Analyser

Regardez le [Part of Speech Tagging] officiel (https://polyglot.readthedocs.io/en/latest/POS.html) et recherchez les paroles de la partie.

from polyglot.text import Text

blob = "You never fail until you stop trying."
tokens = Text(blob)
print(tokens.pos_tags)

Cela devrait vous donner la partie de chaque mot de la phrase, mais vous devriez obtenir une erreur.

ValueError: This resource is available in the index but not downloaded, yet. Try to run

polyglot download embeddings2.en

donc

git clone https://github.com/web64/nlpserver.git

Après cela, sur la 14ème ligne de nlpserver.py

app.config['JSON_AS_ASCII'] = False

Après avoir ajouté

polyglot download embeddings2.en
polyglot download pos2.en

Est inséré. Cette partie a été écrite en Impossible d'extraire les fichiers polyglottes.

Maintenant que vous pouvez analyser l'anglais, le code précédent fonctionne,

from polyglot.text import Text

blob = "You never fail until you stop trying."
tokens = Text(blob)
print(tokens.pos_tags)

En conséquence de

[('You', 'PRON'), ('never', 'ADV'), ('fail', 'VERB'), ('until', 'SCONJ'), ('you', 'PRON'), ('stop', 'VERB'), ('trying', 'VERB'), ('.', 'PUNCT')]

Est obtenu. Le résultat est difficile à voir sur une seule ligne, alors utilisez pprint sur la dernière ligne

import pprint
pprint.pprint(tokens.pos_tags)

Par

[('You', 'PRON'),
 ('never', 'ADV'),
 ('fail', 'VERB'),
 ('until', 'SCONJ'),
 ('you', 'PRON'),
 ('stop', 'VERB'),
 ('trying', 'VERB'),
 ('.', 'PUNCT')]

Vous pouvez concevoir comme. Les noms des pièces sont les suivants. L'abréviation et la description (en anglais) sont tirées de Part of Speech Tagging.

Nom abrégé Explication(Anglais) Explication(Japonais)
ADJ adjective adjectif
ADP adposition Conjoint
ADV adverb adverbe
AUX auxiliary verb Verbe auxiliaire
CONJ coordinating conjunction Coordonner la connexion
DET determiner Mots limités
INTJ interjection interjection
NOUN noun nom
NUM numeral numéral
PART particle Immuable
PRON pronoun Synonyme
PROPN proper noun Nomenclature propriétaire
PUNCT punctuation Ponctuation
SCONJ subordinating conjunction Connexion subordonnée
SYM symbol symbole
VERB verb verbe
X other autres

référence

Référence d'installation https://qiita.com/sawada/items/528da0b22546045122b2

Référence sur les fonctionnalités de polyglotte http://lab.astamuse.co.jp/entry/try-polyglot

Recommended Posts

De la préparation à l'analyse morphologique avec python en utilisant polyglotte au marquage des mots partiels
De l'introduction de JUMAN ++ à l'analyse morphologique du japonais avec Python
Collecte d'informations sur Twitter avec Python (analyse morphologique avec MeCab)
Analyse des composants principaux à l'aide de python de nim avec nimpy
Analyse morphologique japonaise avec Python
Un véritable moyen pour les personnes utilisant python 3.8.0-2 à partir de Windows de travailler avec des caractères multi-octets
[Pour les débutants] Analyse du langage à l'aide de l'outil de traitement du langage naturel "GiNZA" (de l'analyse morphologique à la vectorisation)
Conversion de Pandas DataFrame en System.Data.DataTable à l'aide de Python pour .NET
Introduction à Python pour les utilisateurs de VBA - Appeler Python depuis Excel avec xlwings -
Analyse morphologique avec Igo + mecab-ipadic-neologd en Python (avec bonus Ruby)
Utilisation de Rstan de Python avec PypeR
Text mining avec Python ① Analyse morphologique
Introduction à l'analyse de données par Python P17-P26 [ch02 1.usa.gov données de bit.ly]
De Python à l'utilisation de MeCab (et CaboCha)
Mémo pour demander des KPI avec python
Conseils pour utiliser python + caffe avec TSUBAME
Python> Numéros de sortie de 1 à 100, 501 à 600> Pour csv
Python: analyse morphologique simplifiée avec des expressions régulières
Préparation au grattage au python [Saveur chocolat]
Comment gérer l'erreur OAuth2 lors de l'utilisation des API Google à partir de Python
Créez un outil qui secoue automatiquement furigana avec html en utilisant Mecab de Python3
[Jouons avec Python] Viser la génération automatique de phrases ~ Effectuer une analyse morphologique ~
[Python] De l'analyse morphologique des données CSV à la sortie CSV et à l'affichage graphique [GiNZA]
Essayez d'embellir avec Talking Head Anime à partir d'une seule image [préparation python]
Notes de l'installation de Homebrew à la création d'un environnement Anaconda pour Python avec pyenv
Je souhaite envoyer un e-mail depuis Gmail en utilisant Python.
Envelopper C avec Cython pour une utilisation à partir de Python
~ Conseils pour les débutants de Python donnés avec amour par Pythonista ① ~
[Python] Flux du scraping Web à l'analyse des données
[Didacticiel d'analyse Python dans la base de données avec SQL Server 2017] Étape 2: importer des données dans SQL Server à l'aide de PowerShell
Envelopper C ++ avec Cython pour une utilisation à partir de Python
De la construction d'environnement Python à la construction d'environnement virtuel avec anaconda
~ Conseils pour les débutants de Python donnés avec amour par Pythonista ② ~
La première intelligence artificielle. Je voulais essayer le traitement du langage naturel, donc je vais essayer l'analyse morphologique en utilisant MeCab avec python3.
[Mis à jour de temps en temps] Mémos Python souvent utilisés pour l'analyse des données [Division N, etc.]
Text mining avec Python ① Analyse morphologique (re: version Linux)
Analyse de données pour améliorer POG 1 ~ Web scraping avec Python ~
[Pour les débutants] Comment étudier le test d'analyse de données Python3
Comment récupérer des données d'image de Flickr avec Python
Notification PUSH de Python vers Android à l'aide de l'API de Google
Note de lecture: Introduction à l'analyse de données avec Python
Un moyen facile de gratter avec Python en utilisant Google Colab
Méthodes MessagePack-Call Python (ou Python vers Ruby) à partir de Ruby à l'aide de RPC
De l'achat d'un ordinateur à l'exécution d'un programme sur python
Pour ceux qui veulent écrire Python avec vim
Copier les fichiers S3 de Python vers GCS à l'aide de GSUtil
[Introduction à Python] Comment écrire des instructions répétitives à l'aide d'instructions for
Requête de Python vers Amazon Athena (à l'aide du profil nommé)
[Livre technique] Introduction à l'analyse de données avec Python -1 Chapitre Introduction-
Accès ODBC à SQL Server depuis Linux avec Python
Analyse de données avec python 2
Grattage en Python (préparation)
Changements de Python 3.0 à Python 3.5
Changements de Python 2 à Python 3.0
Analyse vocale par python
Analyse vocale par python
Analyse de données avec Python
Je connais? Analyse de données à l'aide de Python ou de choses que vous souhaitez utiliser quand vous le souhaitez avec numpy