[PYTHON] Ich habe mit Mecab gespielt (morphologische Analyse)!

Einführung

Da die Szene mit MeCab herauskam, habe ich sie als Memorandum veröffentlicht

Ich habe versucht, von der Installationsmethode von MeCab bis zur Ausgabe zusammenzufassen

Die Artikelbeschreibung lautet wie folgt

• Was ist MeCab (morphologische Analyse)?
• So installieren Sie MeCab
• Ich habe es tatsächlich verschoben
• Informationen zum Ausgabeformat
• abschließend

Was ist MeCab (morphologische Analyse)?

MeCab [MeCab] 1 ist eine Open-Source-Engine für morphologische Analysen, die von der Graduate School of Informatics der Universität Kyoto entwickelt wurde. Kann mit Perl, Rubin, Python, Java, C # verwendet werden

Morphologische Analyse

Analyse, die Sätze in morphologische Elemente zerlegt, basierend auf der Grammatik der Zielsprache und der Textinformation der Wörter Methode zur Vorverarbeitung im Bereich der Verarbeitung natürlicher Sprache *** Morphologisches Element **… Die kleinste Einheit eines aussagekräftigen Ausdruckselements

Zum Beispiel "Ich studiere Programmieren mit Python." Wird wie folgt ausgegeben

So installieren Sie MeCab

1 Installieren Sie mecab-64-0.996.2.exe von [hier] 2

2 Führen Sie mecab-64-0.996.2.exe aus und installieren Sie MeCab mit ** UTF-8 **

Wenn die Installation abgeschlossen ist, wird "Wörterbuch erstellen" angezeigt. Führen Sie es also so aus, wie es ist

3 Prüfen Sie mit CMD, ob MeCab ordnungsgemäß verwendet werden kann

• Die Ursache für die verstümmelten Zeichen ist, dass CMD UTF-8 nicht unterstützt ... Wenn Sie denken, Sie können etwas tun, ist es in Ordnung!
• EOS ist eine Abkürzung für End of Satz

Wenn MeCab in CMD nicht antwortet, funktioniert der Pfad möglicherweise nicht? Fügen Sie der Umgebungsvariablen Path das installierte \ Mecab \ bin hinzu.

4 Installieren Sie mecab für Python, damit es mit Python verwendet werden kann

pip install mecab-python-windows

5 Speichern Sie libmecab.dll im Mecab-Ordner, indem Sie es im Python-Ordner überschreiben.

Der Speicherort des Ordners lautet wie folgt

(Dateiname zum Kopieren)：libmecab.dll
(Original)：C:\Program Files\MeCab\bin
(Kopieren nach)：C:\Users\(Nutzername)\AppData\Local\Programs\Python\Python37\Lib\site-packages

Wenn Sie mit cmd suchen, sollten Sie etwas Ähnliches finden.
(Original)：where mecab
(Kopieren nach)：where python

Ich habe es tatsächlich bewegt

Die morphologische Analyse mit MeCab ist wie folgt

1. Geben Sie mit MeCab.Tagger () ein Wörterbuch für die morphologische Analyse an.
2. Verwenden Sie tagger.parse, um Zeichenfolgen und Textdateien mithilfe des angegebenen Wörterbuchs morphologisch zu analysieren.

Es ist sehr einfach

Ich habe versucht, ein einfaches Programm zu erstellen, das tatsächlich eine morphologische Analyse aus einer Zeichenfolge oder einer Textdatei durchführt

Programm

• String

mecab_string.py

import MeCab

CONTENT = "Ich studiere Programmieren mit Python."

tagger = MeCab.Tagger()
parse = tagger.parse(CONTENT)

print(parse)

• Textdatei

Vergessen Sie nicht, den folgenden Fehler zu erhalten, wenn Sie beim Öffnen der Datei keine Kodierung angeben!

UnicodeDecodeError: 'cp932' codec can't decode byte 0x81 in position 4: illegal multibyte sequence

sample.txt

Ich studiere Programmieren mit Python.

mecab_read.py

import MeCab

FILE_NAME = "sample.txt"

with open(FILE_NAME, "r", encoding="utf-8") as f:
    CONTENT = f.read()

tagger = MeCab.Tagger()
parse = tagger.parse(CONTENT)

print(parse)

Ausgabeergebnis

Mein Substantiv,Gleichbedeutend,Allgemeines,*,*,*,ich,ich,ich
Ist ein Assistent,Hilfe,*,*,*,*,Ist,C.,Beeindruckend
Python Nomen,Allgemeines,*,*,*,*,*
Hilfs,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Nomenklatur verwendet,Verbindung ändern,*,*,*,*,verwenden,Shiyo,Shiyo
Shi Verb,Unabhängigkeit,*,*,Sahen / Suru,Kontinuierlicher Typ,Machen,Shi,Shi
Der Assistent,Verbindungsassistent,*,*,*,*,Hand,Te,Te
, Symbol,Lesepunkt,*,*,*,*,、,、,、
Programmiernomenklatur,Verbindung ändern,*,*,*,*,Programmierung,Programmierung,Programmierung
Hilfs,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Studiennomenklatur,Verbindung ändern,*,*,*,*,Studie,Benkyo,Benkyo
Shi Verb,Unabhängigkeit,*,*,Sahen / Suru,Kontinuierlicher Typ,Machen,Shi,Shi
Der Assistent,Verbindungsassistent,*,*,*,*,Hand,Te,Te
Ich verb,Nicht unabhängig,*,*,Ein Schritt,Kontinuierlicher Typ,Ist,ich,ich
Masu Hilfsverb,*,*,*,Spezial / Masse,Grundform,Masu,Forelle,Forelle
.. Symbol,Phrase,*,*,*,*,。,。,。
EOS

Oh, ich konnte richtig ausgeben!

Informationen zum Ausgabeformat

Zuvor schrieb MeCab.Tagger () "einen Ort, an dem ein Wörterbuch für die morphologische Analyse angegeben werden kann".

Das bedeutet, dass es mehrere Wörterbücher gibt, daher werde ich einige davon vorstellen.

Es muss nichts neu installiert werden, daher kann es interessant sein, das obige Programm usw. zu ändern.

Ich habe versucht, alle ** morphologischen Analysen ** einzugeben

MeCab.Tagger() MeCab-kompatible morphologische Analyse Auf Standard setzen

Morphologische Nomenklatur,Allgemeines,*,*,*,*,Morphem,Keitaiso,Keitaiso
Analytisches Substantiv,Verbindung ändern,*,*,*,*,Analyse,Kaiseki,Kaiseki
EOS

MeCab.Tagger("-Ochasen") ChaSen-kompatible morphologische Analyse

Morphologisches Element Keitaiso Morphologische Elementnomenklatur-Allgemeines
Analyse Kaiseki-Analyse-Nomenklatur-Verbindung ändern
EOS

MeCab.Tagger("-Owakati") Trennen Sie die morphologische Analyse Machen Sie für jedes Wort eine Pause wie auf Englisch

Morphologische Analyse

MeCab.Tagger("-Oyomi") Wie man morphologische Analyse liest Ausgabe in Katakana und englischen Wörtern

Keitaisokaiseki

MeCab.Tagger("-Odump") Morphologische Analyse, die alle Informationen ausgibt

0 BOS BOS/EOS,*,*,*,*,*,*,*,* 0 0 0 0 0 0 2 1 0.000000 0.000000 0.000000 0
7 Morphologische Nomenklatur,Allgemeines,*,*,*,*,Morphem,Keitaiso,Keitaiso 0 9 1285 1285 38 2 0 1 0.000000 0.000000 0.000000 5338
13 Analytische Nomenklatur,Verbindung ändern,*,*,*,*,Analyse,Kaiseki,Kaiseki 9 15 1283 1283 36 2 0 1 0.000000 0.000000 0.000000 9241
20 EOS BOS/EOS,*,*,*,*,*,*,*,* 15 15 0 0 0 0 3 1 0.000000 0.000000 0.000000 8505

• BOS ist eine Abkürzung für Beginn eines Satzes.

MeCab.Tagger("-Osimple") Einfache morphologische Analyse

Morphologische Nomenklatur-Allgemeines
Analytisches Substantiv-Verbindung ändern
EOS

Es gibt noch viele weitere. Wenn Sie also interessiert sind, lesen Sie bitte [Offiziell] 1!

abschließend

Sie können jetzt morphologische Analysen mit MeCab durchführen Es wird gesagt, dass es auch für die Verarbeitung natürlicher Sprache mit KI verwendet wird, also möchte ich beherrschen, wie man es benutzt ... (˘ω˘)