[PYTHON] Unterschied in den morphologischen Analyseergebnissen nach Mecab-Wörterbuch

Über diesen Artikel

• Satz gemacht, um Mecab irgendwo zu erklären
• Beschreiben Sie grundlegend den Unterschied zwischen Mecab und Mecab-ipadic-NEologd --Bergung.

Was ist morphologische Analyse?

Die morphologische Analyse ist eine der Methoden zur Verarbeitung natürlicher Sprache, die auch in Suchmaschinen verwendet wird. Sie zerlegt einen Satz / eine Phrase in "minimale sinnvolle Einheiten (= Wörter)". Es wird verwendet, um den Inhalt von Sätzen und Phrasen zu beurteilen.
Referenzseite

Über Mecab

Überblick

MeCab ist eine Open-Source-Engine für morphologische Analysen, die im Rahmen des Joint Research Unit Project der Graduiertenschule für Informatik der Kyoto University-Nippon Telegraph and Telephone Corporation, Forschungsinstitut für Kommunikationswissenschaft, entwickelt wurde. Die grundlegende Richtlinie ist ein Allzweckentwurf, der nicht von Sprache, Wörterbuch oder Korpus abhängt. Bedingte Zufallsfelder (CRF) werden zum Schätzen der Parameter verwendet. Es läuft im Durchschnitt auch schneller als ChaSen, Juman und KAKASI. Mekabu ist übrigens ein Favorit des Autors.

Charakteristisch

-Universelles Design unabhängig von Wörterbuch und Korpus -Hohe Analysegenauigkeit basierend auf dem bedingten Wahrscheinlichkeitsfeld (CRF) Schneller als ChaSen und KAKASI -Adopts Double-Array, eine Hochgeschwindigkeits-TRIE-Struktur, für den Wörterbuch-Suchalgorithmus / die Datenstruktur. -Reentrante Bibliothek -Verschiedene Bindungen für Skriptsprachen (Perl / Ruby / Python / Java / C #)

Vergleich

Wörterbuchdaten

• IPA-Wörterbuch
  IPA-Wörterbuch, ein Wörterbuch, dessen Parameter von CRF basierend auf dem IPA-Korpus geschätzt werden.
• Menschliches Wörterbuch
  Juamn Dictionary, ein Wörterbuch, dessen Parameter von CRF basierend auf dem Kyoto Corpus geschätzt werden. --Unidisches Wörterbuch
  Unidic Dictionary, ein Wörterbuch, das von CRF basierend auf dem BCCWJ-Korpus geschätzt wird. --mecab-ipadic-NEologd Wörterbuch
  mecab-ipadic-NEologd ist ein Systemwörterbuch für MeCab, das durch Hinzufügen neuer Wörter aus vielen Sprachressourcen im Web angepasst wurde.
• Vorteile
• Ungefähr 3,12 Millionen Paare (einschließlich doppelter Einträge) der Oberflächenschicht (Notation) und Frigana-Wortpaare wie eindeutige Ausdrücke, die vom MeCab-Standardsystemwörterbuch nicht korrekt unterteilt werden können, werden aufgezeichnet. --Dieses Wörterbuch wird auf dem Entwicklungsserver automatisch aktualisiert und mindestens zweimal pro Woche aktualisiert.
• Da Sprachressourcen im Web verwendet werden, können zum Zeitpunkt der Aktualisierung neue eindeutige Ausdrücke aufgezeichnet werden. Die derzeit verwendeten Ressourcen lauten wie folgt. --Dump-Daten des Hatena-Schlüsselworts
• Download der Postcode-Daten
• Eine Ecke der Liste der Stationsnamen im ganzen Land
• Eingabedaten für den Personennamen (Nachname / Vorname) --Daten, die ein Eintrag von Adverbien sind, die nicht im IPA-Wörterbuch aufgezeichnet sind
• Daten von Einträgen für Adjektive, die nicht im IPA-Wörterbuch erfasst sind --Daten, die ein Eintrag von Adjektivverben sind, die nicht im IPA-Wörterbuch aufgezeichnet sind --Daten, die ein Eintrag eines sich bewegenden Verbeintrags sind, der nicht im IPA-Wörterbuch aufgezeichnet ist --Daten, die ein Eintrag einer Liste von Notationsschwankungszeichenfolgen der allgemeinen Nomenklatur / Eigennomenklatur und ihrer Prototypensätze sind --Daten, die ein Eintrag einer Liste von Notationsschwankungszeichenfolgen und deren Prototypensätzen sind --Daten, bei denen es sich um einen Eintrag von Wörtern handelt, die dasselbe Muster wie die reduzierten Notationswörter haben, die in SNS häufig vorkommen. --Daten mit einem Pseudonym, das Piktogrammen unter Unicode 9.0 manuell hinzugefügt wurde --Daten, die manuell mit einem Pseudonym zu den Gesichtszeichen hinzugefügt werden, die im Ausgangszustand auf dem iOS- oder Android-Gerät eingegeben werden können.
• Eine Liste japanischer Bergnamen
• Ein Patch, der offensichtliche Fehler (Tippfehler, Auslassungen usw.) im Zusammenhang mit dem Lesepseudonym der im IPA-Wörterbuch enthaltenen Einträge behebt. --Patch zur Fixierung der Kosten für das morphologische Auftreten von Einträgen im IPA-Wörterbuch --Daten, die als Einträge erstellt wurden, indem Zeitausdrücke und numerische Ausdrücke unter Verwendung vordefinierter Muster generiert wurden
• Daten mit Einträgen neuer und unbekannter Wörter aus Nachrichtenartikeln --Daten mit Einträgen von gängigen Wörtern, Redewendungen und Hash-Tags im Netz
• Große Menge von Dokumentdaten, die aus dem Web gecrawlt wurden
• Nachteil
• Unzureichende Klassifizierung eindeutiger Ausdrücke
• Wörter, die keine eindeutigen Ausdrücke sind, werden auch als eindeutige Ausdrücke registriert.
• Die Entsprechung zwischen der eindeutigen Ausdrucksnotation und Frigana ist möglicherweise falsch.
• Alle Teileinformationen des hinzugefügten Zusatzes sind "Zusatz, allgemein ,,,,".
• Der einzige unterstützte Zeichencode ist UTF-8.

neologd

$ echo "Instagram glänzen" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Instagram-würdiges Substantiv,Eigenname,Allgemeines,*,*,*,Instagram glänzen,Insta fliegen,Insta fliegen
EOS

$ echo "Instagram glänzen" | mecab 
Insta Nomen,Allgemeines,*,*,*,*,*
Shine Nomen,Allgemeines,*,*,*,*,Scheinen,Fliegen,Fliegen
EOS

$ echo "Ernsthaft" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Ernsthaft Nomen,Eigenname,Allgemeines,*,*,*,Ernsthaft,Ernsthaft,Ernsthaft
EOS

$ echo "Ernsthaft" | mecab 
Ernstes Substantiv,Adjektiv Verbstamm,*,*,*,*,Ernsthaft,Ja wirklich,Ja wirklich
卍 nein,Allgemeines,*,*,*,*,卍,Manji,Manji
EOS

$ echo "Tapiru" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Tapi Substantiv,Eigenname,Allgemeines,*,*,*,Tapi,Tapi,Tapi
Hilfsverb,*,*,*,Literarische Sprache,Wortverbindung,Ri,Le,Le
EOS

$ echo "Tapiru" | mecab
Tapi Substantiv,Allgemeines,*,*,*,*,*
Hilfsverb,*,*,*,Literarische Sprache,Grundform,Ru,Le,Le
EOS

$ echo "Agemizawa" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Agemizawa Substantiv,Eigenname,Allgemeines,*,*,*,Agemizawa,Agemizawa,Agemizawa
EOS

$ echo "Agemizawa" | mecab 
Verb erheben,Unabhängigkeit,*,*,Ein Schritt,Kontinuierlicher Typ,Geben,Alter,Alter
Mi Verb,Nicht unabhängig,*,*,Ein Schritt,Kontinuierlicher Typ,Aussicht,Mi.,Mi.
Zawa Nomen,Eigenname,Organisation,*,*,*,*
EOS

$ echo "Azamaru Fischerei" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Azamaru Fisheries Nominal,Eigenname,Allgemeines,*,*,*,Azamaru Fischerei,Azamaru Suisan,Azamaru Suisan
EOS

$ echo "Azamaru Fischerei" | mecab 
Aza Nomen,Allgemeines,*,*,*,*,Aza,Aza,Aza
Maru Präfix,Mehrere Verbindungen,*,*,*,*,Maru,Maru,Maru
Fischernomenklatur,Allgemeines,*,*,*,*,Fischerei,Suisan,Suisan
EOS

$ echo "Instagram" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Instagram Nomenklatur,Eigenname,Allgemeines,*,*,*,Instagram,Instagram,Instagram
EOS

$ echo "Instagram" | mecab 
Instagram Nomenklatur,Eigenname,Organisation,*,*,*,*
EOS

$ echo "Kemio" | mecab 
Ke Assistent,Letzte Hilfe,*,*,*,*,Ke,Ke,Ke
Mi Verb,Unabhängigkeit,*,*,Ein Schritt,Kontinuierlicher Typ,Aussicht,Mi.,Mi.
O Verb,Nicht unabhängig,*,*,Fünf Schritte, La Linie,Wortverbindungsspezial 2,Oru,Oh,Oh
EOS

$ echo "Kemio" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Kemio Substantiv,Eigenname,Name der Person,Allgemeines,*,*,Kemio,Chemio,Chemio
EOS

Verwendung in Code (UNIX & Python3)

mecab.py

import MeCab

t = MeCab.Tagger ('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')#mecab-ipadic-NEologd
t = MeCab.Tagger ("-Ochasen")#Standard-Typ

text = 'Text, den Sie analysieren möchten'
t.parse('')#Verhindern Sie, dass Zeichenfolgen GC sind
m = t.parseToNode(text)
while m:
    if m.feature.split(',')[0] == 'Substantiv':
        print(m.surface)  

result

AWS-Nomenklatur,Eigenname,Allgemeines,*,*,*,AWS,Amazon Web Services,Amazon Web Services
Berühmte Nomenklatur,Adjektiv Verbstamm,*,*,*,*,Berühmt,Yumei,Yumei
Service-Nomenklatur,Verbindung ändern,*,*,*,*,Bedienung,Bedienung,Bedienung
Amazon Nomen,Eigenname,Allgemeines,*,*,*,Amazon,Amazonas,Amazonas
Elastisches Substantiv,Eigenname,Allgemeines,*,*,*,Elastic,Elastisch,Elastisch
Nomen berechnen,Allgemeines,*,*,*,*,*
Wolke Nomen,Allgemeines,*,*,*,*,*

der Begriff

• Bedingte Zufallsfelder

Es ist eines der probabilistischen grafischen Modelle, die durch ungerichtete Graphen dargestellt werden, und es ist ein Diskriminanzmodell. Die Serienbeschriftung zielt darauf ab, eine Datenzeichenfolge (z. B. eine Wortzeichenfolge) als Eingabe zu empfangen und einzelne Daten als Ausgabe zu kennzeichnen. Beispielsweise besteht das Problem, einer Wortfolge Teiltextinformationen zu geben (Eingabe: "I / ha / run" ⇒ Ausgabe: "Nomen / Assistent / Verb"). Ist fertig.
Das CRF zum Lösen der Sequenzmarkierung wird als lineares Ketten-CRF bezeichnet.
Referenzseite: [Technische Erklärung] CRF (Conditional Random Fields)