Verwenden Sie mecab-ipadic-neologd von Python

Was du machen willst

• Verwenden Sie MeCab für die morphologische Analyse
  • http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html

--Verwenden Sie ein neues Wortwörterbuch - https://github.com/neologd/mecab-ipadic-neologd/ --Verwenden Sie in Kombination mit anderen Modulen in Python-Skripten

Umgebung

• OSX 10.10.5
• Conda 3.19.0
• Python 2.7.11
• MeCab 0.996

Python 2.7 Verwenden Sie Conda.

$ conda create -n py27con python=2.7 anaconda
$ conda info -e
$ source ~/.pyenv/versions/miniconda3-3.16.0/envs/py27con/bin/activate py27con

mecab-ipadic Ich werde mecab-ipadic-neologd später verwenden, also werde ich es in UTF-8 einfügen

$ cd ~/path/to/mecab-ipadic-2.7.0-20070801/
$ make clean
$ ./configure --with-charset=utf8
$ make
$ make install

mecab-ipadic-neologd

$ cd ~/path/to/mecab-ipadic-neologd/
$ bin/install-mecab-ipadic-neologd 

mecab-python

MeCab Python-Bindungen

$ pip install https://mecab.googlecode.com/files/mecab-python-0.996.tar.gz

Funktionsprüfung

test.py

# -*- coding: utf-8 -*-
import MeCab
m = MeCab.Tagger(' -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')

text = '''
"Idol Master Cinderella Girls" (DAS IDOLM@STER CINDERELLA GIRLS) ist "THE IDOLM", entwickelt und betrieben von Bandai Namco Entertainment (ehemals Bandai Namco Games) und Cygames.@Ein Social Game exklusiv für mobile Terminals mit dem Motiv der Welt von STER.
'''
print(m.parse(text))

Der Text lautet [Wikipedia](https://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%A4%E3%83%89%E3%83%AB%E3%83%9E%E3 % 82% B9% E3% 82% BF% E3% 83% BC_% E3% 82% B7% E3% 83% B3% E3% 83% 87% E3% 83% AC% E3% 83% A9% E3% 82 Von% AC% E3% 83% BC% E3% 83% AB% E3% 82% BA).

$ python test.py
"Symbol,Klammern öffnen,*,*,*,*,『,『,『
Idol Master Cinderella Girls Nominal,Proprietäre Nomenklatur,Allgemeines,*,*,*,Idolmaster Cinderella Girls,Idolmaster Cinderella Girls,Idolmaster Cinderella Girls
"Symbol,In Klammern geschlossen,*,*,*,*,』,』,』
(Symbol,Klammern öffnen,*,*,*,*,（,（,（
THE IDOLM@STER CINDERELLA GIRLS Nomenklatur,Proprietäre Nomenklatur,Allgemeines,*,*,*,THE IDOLM@STER CINDERELLA GIRLS,Idolmaster Cinderella Girls,Idolmaster Cinderella Girls
) Symbol,In Klammern geschlossen,*,*,*,*,）,）,）
Ist ein Assistent,Hilfe,*,*,*,*,Ist,C.,Beeindruckend
, Symbol,Lesepunkt,*,*,*,*,、,、,、
Bandai Namco Entertainment Nomen,Proprietäre Nomenklatur,Allgemeines,*,*,*,Bandai Namco Unterhaltung,Bandai Namco Unterhaltung,Bandai Namco Unterhaltung
(Symbol,Klammern öffnen,*,*,*,*,（,（,（
Altes Präfix,Nomenverbindung,*,*,*,*,Alt,Kyu,Warteschlange
Bandai Namco Games Nomen,Proprietäre Nomenklatur,Allgemeines,*,*,*,BANDAI NAMCO Games,Bandai Namco Spiele,Bandai Namco Spiele
) Symbol,In Klammern geschlossen,*,*,*,*,）,）,）
Und Hilfswörter,Parallele Assistenten,*,*,*,*,Wann,Zu,Zu
Cygames-Nomenklatur,Proprietäre Nomenklatur,Allgemeines,*,*,*,Cygames,Sai-Spiele,Sai-Spiele
Ist ein Assistent,Fallassistent,Allgemeines,*,*,*,Aber,Ga,Ga
Entwicklungsnomenklatur,Verbindung ändern,*,*,*,*,Entwicklung von,Kaihatsu,Kaihatsu
・ Symbol,Allgemeines,*,*,*,*,・,・,・
Management-Nomenklatur,Verbindung ändern,*,*,*,*,Operation,Unei,Unei
Verb,Unabhängigkeit,*,*,Sahen / Suru,Grundform,Machen,Suru,Suru
"Symbol,Klammern öffnen,*,*,*,*,『,『,『
THE IDOLM@STER Substantiv,Proprietäre Nomenklatur,Allgemeines,*,*,*,THE IDOLM@STER,Idol Meister,Idol Meister
"Symbol,In Klammern geschlossen,*,*,*,*,』,』,』
Hilfswörter,Union,*,*,*,*,von,Nein,Nein
Weltanschauungsnomenklatur,Proprietäre Nomenklatur,Allgemeines,*,*,*,Sicht der Welt,Sekaikan,Sekaikan
Hilfs,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Motiv Nomen,Allgemeines,*,*,*,*,Motiv,Motiv,Motiv
Und Hilfswörter,Fallassistent,Allgemeines,*,*,*,Wann,Zu,Zu
Verb,Unabhängigkeit,*,*,Sahen / Suru,Grundform,Machen,Suru,Suru
Mobiles Terminal Nomen,Proprietäre Nomenklatur,Allgemeines,*,*,*,Mobiles Terminal,Keitaitanmatsu,Keitaitanmatsu
Spezielle Nomenklatur,Verbindung ändern,*,*,*,*,vorgesehen,Senyou,Senyo
Hilfswörter,Union,*,*,*,*,von,Nein,Nein
Nomenklatur der sozialen Spiele,Proprietäre Nomenklatur,Allgemeines,*,*,*,soziales Spiel,soziales Spiel,soziales Spiel
.. Symbol,Phrase,*,*,*,*,。,。,。
EOS

Übrigens, wenn Sie -d / usr / local / lib / mecab / dic / mecab-ipadic-neologd weglassen und den Unterschied betrachten, können Sie sehen, dass das neue Wortwörterbuch gut funktioniert (hauptsächlich einzigartig). Substantiv).

Wo ich es auf Eis gelegt habe

Liste der häufigen Probleme:

• Die Ausgabe ist verstümmelt ――Möglicherweise müssen Sie das UTF-8-Wörterbuch nur ordnungsgemäß verwenden
• Einige Unterschiede / Konflikte zwischen Conda Python und System Python --Beispiel: Shell stürzt ab, wenn Python aktiviert wird
• Dies ist nur eine Frage der korrekten Angabe des Pfads für "Aktivieren"
• Arbeiten Sie daran, das erhaltene Python-Bindungs-Setup-Skript und das Beispielskript mit Python 3.5 kompatibel zu machen
• Arbeiten Sie daran, die Bindung selbst 3.5 mit SWIG kompatibel zu machen
• Trotzdem erhalte ich Unicode-bezogene Fehler

Ich wollte es wenn möglich mit 3.5 machen, aber ich konnte nicht entkommen, weil ich süchtig danach war, also habe ich es vorerst mit 2.7 gemacht.