MeCab von Python

Aufgabe

• Aktivieren Sie die morphologische Analysefunktion von MeCab in Python.

Methode

• Erstellen / Installieren der Python-Bindungen von MeCab (http://mecab.googlecode.com/svn/trunk/mecab/doc/bindings.html).

Annahme

• Ziel: mecab-python-0.996.tar.gz
• Umgebung: Windows 8.1 64 Bit, Python 2.7, MeCab 0.996

Inhalt

1. Erstellen Sie die Build-Umgebung

• [Visual Studio 2008 Express Edition mit Service Pack 1](http://social.msdn.microsoft.com/Forums/ja-JP/15d1306c-6221-487b-b0b9-6d20877c509a/visual-studio-2008-express-edition -) Installieren.
• Installieren Sie Microsoft Windows SDK für Windows 7 und .NET Framework 3.5 SP1.

2. Erstellen Sie libmecab.lib und libmecab.dll (erstellen Sie MeCab)

• Laden Sie mecab-0.996.tar.gz (MeCab-Quelle) herunter.
• Ändern Sie Zeile 356 von mecab-0.996 \ src \ feature_index.cpp.

:feature_index.cpp.patch

--- mecab-0.996.org/src/feature_index.cpp	Sun Nov 25 14:35:33 2012
+++ mecab-0.996/src/feature_index.cpp	Sat Mar  1 11:19:20 2014
@@ -353,7 +353,7 @@
               if (!r) goto NEXT;
               os_ << r;
             } break;
-            case 't':  os_ << (size_t)path->rnode->char_type;     break;
+            case 't':  os_ << (unsigned int)path->rnode->char_type;     break;
             case 'u':  os_ << ufeature; break;
             case 'w':
               if (path->rnode->stat == MECAB_NOR_NODE) {

• Ändern Sie die Zeile 260 von mecab-0.996 \ src \ writer.cpp.

:writer.cpp.patch

--- mecab-0.996.org/src/writer.cpp	Sun Sep 30 01:44:27 2012
+++ mecab-0.996/src/writer.cpp	Sat Mar  1 11:20:32 2014
@@ -257,7 +257,7 @@
             // input sentence
           case 'S': os->write(lattice->sentence(), lattice->size()); break;
             // sentence length
-          case 'L': *os << lattice->size(); break;
+          case 'L': *os << (unsigned int)lattice->size(); break;
             // morph
           case 'm': os->write(node->surface, node->length); break;
           case 'M': os->write(reinterpret_cast<const char *>

• Ändern Sie Zeile 6 von mecab-0.996 \ src \ Makefile.msvc.in.

:Makefile.msvc.in.patch

--- mecab-0.996.org/src/Makefile.msvc.in	Sun Sep 30 01:44:27 2012
+++ mecab-0.996/src/Makefile.msvc.in	Thu Mar  6 02:36:41 2014
@@ -3,7 +3,7 @@
 LINK=link.exe
 
 CFLAGS = /EHsc /O2 /GL /GA /Ob2 /nologo /W3 /MT /Zi /wd4800 /wd4305 /wd4244
-LDFLAGS = /nologo /OPT:REF /OPT:ICF /LTCG /NXCOMPAT /DYNAMICBASE /MACHINE:X86 ADVAPI32.LIB
+LDFLAGS = /nologo /OPT:REF /OPT:ICF /LTCG /NXCOMPAT /DYNAMICBASE /MACHINE:X86_amd64 ADVAPI32.LIB
 DEFS =  -D_CRT_SECURE_NO_DEPRECATE -DMECAB_USE_THREAD \
         -DDLL_EXPORT -DHAVE_GETENV -DHAVE_WINDOWS_H -DDIC_VERSION=@DIC_VERSION@ \
         -DVERSION="\"@VERSION@\"" -DPACKAGE="\"mecab\"" \

• Führen Sie Folgendes in mecab-0.996 \ src aus.

> call "C:\Program Files (x86)\Microsoft Visual Studio 9.0\VC\vcvarsall.bat" X86_amd64
> nmake -f Makefile.msvc.in

• libmecab.lib und libmecab.dll werden in mecab-0.996 \ src erstellt.

3. Erstellen eines Installationsprogramms (Erstellen von Python-Bindungen)

• Speichern Sie die in mecab-0.996 \ src erstellte libmecab.dll in C: \ Programme (x86) \ MeCab \ bin.
• Speichern Sie die in mecab-0.996 \ src erstellte libmecab.lib in C: \ Programme (x86) \ MeCab \ sdk.
• Ändern Sie mecab-python-0.996 \ setup.py.

setup.py

#!/usr/bin/env python

from distutils.core import setup,Extension

setup(name = "mecab-python",
	version = "0.996",
	py_modules=["MeCab"],
	ext_modules = [
		Extension("_MeCab",
			["MeCab_wrap.cxx",],
			include_dirs=['C:/Program Files (x86)/MeCab/sdk'],
			library_dirs=['C:/Program Files (x86)/MeCab/sdk'],
			libraries=["libmecab"])
			])

• Führen Sie Folgendes mit mecab-python-0.996 aus.

> python setup.py bdist_wininst

• mecab-python-0.996.win-amd64-py2.7.exe wird in mecab-python-0.996 \ dist erstellt.

4. Installation (Ausführen des Installationsprogramms)

• Führen Sie mecab-python-0.996.win-amd64-py2.7.exe aus, das in mecab-python-0.996 \ dist erstellt wurde.

5. Funktionsprüfung

• Führen Sie Folgendes mit mecab-python-0.996 aus.

> python test.py

• Ausführungsergebnis

0.996
Taro Substantiv,Proprietäre Nomenklatur,Name der Person,Name,*,*,Taro,Taro,Taro
Ist ein Hilfswort,Hilfe,*,*,*,*,Ist,C.,Beeindruckend
Dieser Zusatz,*,*,*,*,*,Dies,Dies,Dies
Buchnomenklatur,Allgemeines,*,*,*,*,Buch,Hong,Hong
Hilfswörter,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Zwei Nomenklaturen,Nummer,*,*,*,*,zwei,D.,D.
Ro Substantiv,Allgemeines,*,*,*,*,Ro,Rowe,Niedrig
Hilfswörter,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Siehe Verb,Unabhängigkeit,*,*,Ein Schritt,Kontinuierlicher Typ,sehen,Mi.,Mi.
Hilfsverb,*,*,*,Besondere,Grundform,Ta,Ta,Ta
Weibliche Nomenklatur,Allgemeines,*,*,*,*,Weiblich,Josei,Josei
Ni,Fallassistent,Allgemeines,*,*,*,Zu,D.,D.
Verb übergeben,Unabhängigkeit,*,*,Godan / Sa Linie,Kontinuierlicher Typ,aushändigen,ich,ich
Hilfsverb,*,*,*,Besondere,Grundform,Ta,Ta,Ta
.. Symbol,Phrase,*,*,*,*,。,。,。
EOS

　　	BOS/EOS,*,*,*,*,*,*,*,*
Taro Substantiv,Proprietäre Nomenklatur,Name der Person,Name,*,*,Taro,Taro,Taro
Ist ein Hilfswort,Hilfe,*,*,*,*,Ist,C.,Beeindruckend
Dieser Zusatz,*,*,*,*,*,Dies,Dies,Dies
Buchnomenklatur,Allgemeines,*,*,*,*,Buch,Hong,Hong
Hilfswörter,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Zwei Nomenklaturen,Nummer,*,*,*,*,zwei,D.,D.
Ro Substantiv,Allgemeines,*,*,*,*,Ro,Rowe,Niedrig
Hilfswörter,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
Siehe Verb,Unabhängigkeit,*,*,Ein Schritt,Kontinuierlicher Typ,sehen,Mi.,Mi.
Hilfsverb,*,*,*,Besondere,Grundform,Ta,Ta,Ta
Weibliche Nomenklatur,Allgemeines,*,*,*,*,Weiblich,Josei,Josei
Ni,Fallassistent,Allgemeines,*,*,*,Zu,D.,D.
Verb übergeben,Unabhängigkeit,*,*,Godan / Sa Linie,Kontinuierlicher Typ,aushändigen,ich,ich
Hilfsverb,*,*,*,Besondere,Grundform,Ta,Ta,Ta
.. Symbol,Phrase,*,*,*,*,。,。,。
　　	BOS/EOS,*,*,*,*,*,*,*,*
EOS
EOS
filename: C:\Program Files (x86)\MeCab\etc\..\dic\ipadic\sys.dic
charset: UTF-8
size: 392126
type: 0
lsize: 1316
rsize: 1316
version: 102

Referenz

• Hinweis zum Erstellen eines Python-Bindungsmoduls für Mecab 0.993 (32/64 Bit) unter Windows
• Mecab-Python in Windows eingeführt