Von der Vorbereitung der morphologischen Analyse mit Python unter Verwendung von Polyglot bis zur Teilwortmarkierung

Vorbereitung

Verwenden Sie Polyglot (Dokument).

Es wurde bestätigt, dass Folgendes mit Python 3.8.5 funktioniert. Zuerst,

pip install numpy
pip install polyglot
pip install six
pip install pycld2
pip install morfessor
pip install pyicu

Installieren Sie in der Reihenfolge von. Wenn ModuleNotFoundError Sie jedoch auffordert, "icu" zu setzen

pip install icu

nicht

pip install pyicu

Lassen. Wenn Sie versuchen, "icu" zu installieren und zu verwenden, sollte der Fehler "Name xxx kann nicht importiert werden" angezeigt werden. Beachten Sie, dass es sich um ein anderes Element handelt.

Wenn dies nicht funktioniert, lesen Sie Fehler beim Installieren von pip pyicu.

Analysieren

Schauen Sie sich das offizielle Teil der Sprachkennzeichnung an und schlagen Sie den Teiletext nach.

from polyglot.text import Text

blob = "You never fail until you stop trying."
tokens = Text(blob)
print(tokens.pos_tags)

Dies sollte Ihnen den Teil jedes Wortes im Satz geben, aber Sie sollten einen Fehler erhalten.

ValueError: This resource is available in the index but not downloaded, yet. Try to run

polyglot download embeddings2.en

damit

git clone https://github.com/web64/nlpserver.git

Danach in der 14. Zeile von nlpserver.py

app.config['JSON_AS_ASCII'] = False

Nach dem Hinzufügen

polyglot download embeddings2.en
polyglot download pos2.en

Wird eingefügt. Dieser Teil wurde geschrieben in Polyglot-Dateien können nicht abgerufen werden.

Jetzt, da Sie Englisch analysieren können, funktioniert der vorherige Code:

from polyglot.text import Text

blob = "You never fail until you stop trying."
tokens = Text(blob)
print(tokens.pos_tags)

Als Ergebnis von

[('You', 'PRON'), ('never', 'ADV'), ('fail', 'VERB'), ('until', 'SCONJ'), ('you', 'PRON'), ('stop', 'VERB'), ('trying', 'VERB'), ('.', 'PUNCT')]

Das Ergebnis ist in einer Zeile schwer zu erkennen. Verwenden Sie daher in der letzten Zeile "pprint"

import pprint
pprint.pprint(tokens.pos_tags)

Durch

[('You', 'PRON'),
 ('never', 'ADV'),
 ('fail', 'VERB'),
 ('until', 'SCONJ'),
 ('you', 'PRON'),
 ('stop', 'VERB'),
 ('trying', 'VERB'),
 ('.', 'PUNCT')]

Sie können wie z. Die Namen der Teile lauten wie folgt. Die Abkürzung und Beschreibung (Englisch) stammen aus Teil der Sprachkennzeichnung.

Kurzbezeichnung Erläuterung(Englisch) Erläuterung(japanisch)
ADJ adjective Adjektiv
ADP adposition Konjunkt
ADV adverb Adverb
AUX auxiliary verb Hilfsverb
CONJ coordinating conjunction Koordinatenverbindung
DET determiner Begrenzte Wörter
INTJ interjection Zwischenruf
NOUN noun Substantiv
NUM numeral Ziffer
PART particle Unveränderlich
PRON pronoun Gleichbedeutend
PROPN proper noun Proprietäre Nomenklatur
PUNCT punctuation Interpunktion
SCONJ subordinating conjunction Untergeordnete Verbindung
SYM symbol Symbol
VERB verb Verb
X other Andere

Referenz

Installationsreferenz https://qiita.com/sawada/items/528da0b22546045122b2

Referenz zu den Merkmalen von Polyglot http://lab.astamuse.co.jp/entry/try-polyglot

Recommended Posts

Von der Vorbereitung der morphologischen Analyse mit Python unter Verwendung von Polyglot bis zur Teilwortmarkierung
Von der Einführung von JUMAN ++ bis zur morphologischen Analyse von Japanisch mit Python
Sammeln von Informationen von Twitter mit Python (morphologische Analyse mit MeCab)
Hauptkomponentenanalyse mit Python von nim mit nimpy
Japanische morphologische Analyse mit Python
Eine echte Möglichkeit für Benutzer von Python 3.8.0-2 aus Windows, mit Multi-Byte-Zeichen zu arbeiten
[Für Anfänger] Sprachanalyse mit dem Verarbeitungswerkzeug "GiNZA" (von der morphologischen Analyse bis zur Vektorisierung)
Konvertieren Sie mit Python für .NET von Pandas DataFrame in System.Data.DataTable
Einführung in Python für VBA-Benutzer - Aufrufen von Python aus Excel mit xlwings-
Morphologische Analyse mit Igo + mecab-ipadic-neologd in Python (mit Ruby-Bonus)
Verwenden von Rstan aus Python mit PypeR
Text Mining mit Python ① Morphologische Analyse
Einführung in die Datenanalyse mit Python P17-P26 [ch02 1.usa.gov Daten von bit.ly]
Von Python bis zur Verwendung von MeCab (und CaboCha)
Memo, um nach KPI mit Python zu fragen
Tipps zur Verwendung von Python + Caffe mit TSUBAME
Python> Ausgaben von 1 bis 100, 501 bis 600> Für CSV
Python: Vereinfachte morphologische Analyse mit regulären Ausdrücken
Vorbereitung zum Schaben mit Python [Schokoladengeschmack]
Umgang mit OAuth2-Fehlern bei Verwendung von Google APIs aus Python
Erstellen Sie mit Mecab aus Python3 ein Tool, das Furigana automatisch mit HTML schüttelt
[Lass uns mit Python spielen] Ziel ist die automatische Satzgenerierung ~ Morphologische Analyse durchführen ~
[Python] Von der morphologischen Analyse von CSV-Daten bis zur CSV-Ausgabe und Diagrammanzeige [GiNZA]
Versuchen Sie, mit Talking Head Anime aus einem einzigen Bild zu verschönern [Python-Vorbereitung]
Hinweise von der Installation von Homebrew bis zum Erstellen einer Anaconda-Umgebung für Python mit pyenv
Ich möchte mit Python eine E-Mail von Google Mail senden.
Wickeln Sie C mit Cython für Python ein
~ Tipps für Python-Anfänger mit Liebe von Pythonista ① ~
[Python] Fluss vom Web-Scraping zur Datenanalyse
[In-Database Python Analysis-Lernprogramm mit SQL Server 2017] Schritt 2: Importieren Sie Daten mit PowerShell in SQL Server
Wrap C ++ mit Cython zur Verwendung von Python
Von der Python-Umgebungskonstruktion zur virtuellen Umgebungskonstruktion mit Anaconda
~ Tipps für Python-Anfänger mit Liebe von Pythonista ② ~
Die erste künstliche Intelligenz. Ich wollte die Verarbeitung natürlicher Sprache ausprobieren, daher werde ich die morphologische Analyse mit MeCab mit Python3 versuchen.
[Von Zeit zu Zeit aktualisiert] Python-Memos, die häufig für die Datenanalyse verwendet werden [N-Division usw.]
Text Mining mit Python ① Morphologische Analyse (re: Linux-Version)
Datenanalyse zur Verbesserung von POG 1 ~ Web Scraping mit Python ~
[Für Anfänger] So studieren Sie den Python3-Datenanalysetest
So kratzen Sie Bilddaten von Flickr mit Python
PUSH-Benachrichtigung von Python an Android mithilfe der Google-API
Lesehinweis: Einführung in die Datenanalyse mit Python
Einfache Möglichkeit, mit Google Colab mit Python zu kratzen
MessagePack-Aufruf von Ruby to Python-Methoden (oder Python to Ruby-Methoden) mithilfe von RPC
Vom Kauf eines Computers bis zur Ausführung eines Programms auf Python
Für diejenigen, die Python mit vim schreiben möchten
Kopieren Sie S3-Dateien mit GSUtil von Python nach GCS
[Einführung in Python] So schreiben Sie sich wiederholende Anweisungen mit for-Anweisungen
Abfrage von Python an Amazon Athena (unter Verwendung des benannten Profils)
[Technisches Buch] Einführung in die Datenanalyse mit Python -1 Kapitel Einführung-
ODBC-Zugriff auf SQL Server von Linux mit Python
Datenanalyse mit Python 2
Scraping in Python (Vorbereitung)
Änderungen von Python 3.0 zu Python 3.5
Änderungen von Python 2 zu Python 3.0
Sprachanalyse mit Python
Sprachanalyse mit Python
Datenanalyse mit Python
Ich kenne? Datenanalyse mit Python oder Dingen, die Sie mit numpy verwenden möchten, wenn Sie möchten