Morphologischer Analysator janome endlich [unterstützt NElogd-Wörterbuch](https://medium.com/@mocobeta/neologd-%E8%BE%9E%E6% 9B% B8% E5% 86% 85% E5% 8C% 85% E3% 81% AE-Janome-% E3% 83% 91% E3% 83% 83% E3% 82% B1% E3% 83% BC% E3 % 82% B8% E3% 81% AE% E3% 83% 80% E3% 82% A6% E3% 83% B3% E3% 83% AD% E3% 83% BC% E3% 83% 89% E3% 81 % A7% E3% 81% 8D% E3% 82% 8B% E3% 82% 88% E3% 81% 86% E3% 81% AB% E3% 81% 97% E3% 81% BE% E3% 81% 97 % E3% 81% 9F-% E4% B8% 8D% E5% AE% 9A% E6% 9C% 9F% E6% 9B% B4% E6% 96% B0-71611ab66415) Ich habe es leicht mit Pip Install bekommen.
Das Betriebssystem ist Lubuntu14.04 und ich verwende Anacondas Python3.5.
Löschen Sie die Datei von hier (Google Drive) und erstellen Sie sie wie in README
$ pip install Janome-0.3.5.neologd20170814.tar.gz --no-compile
Ich habe jedoch den folgenden Fehler erhalten.
OSError: [Errno 28] No space left on device
Bei der Prüfung scheint dieser Fehler aus verschiedenen Gründen aufzutreten. Es scheint, dass dies an der Kapazität der Festplatte oder der Anzahl der Dateien liegen kann. In diesem Fall scheint es an der Kapazität zu liegen.
$ df -h
Filesystem Size Used Avail Use% Mounted on
...(Weggelassen)
/dev/zram1 1.5G 1.4G 4.0K 100% /tmp
...(Weggelassen)
Und so weiter ist das tmp-Verzeichnis voll. Da dieser Janome eine große Wörterbuchdatei verarbeitet, stelle ich mir vor, dass sie das Limit überschritten hat.
Um dieses Problem zu umgehen, scheint es einfach zu sein, das tmp-Verzeichnis vorübergehend anzugeben und dann zu installieren.
$ mkdir $HOME/tmp
$ export TMPDIR=$HOME/tmp
$ pip install Janome-0.3.5.neologd20170814.tar.gz --no-compile
Das tmp-Verzeichnis wird durch den Befehl export TMPDIR = $ HOME / tmp angegeben. Diese Spezifikation ist vorübergehend und wird verworfen, wenn die Sitzung geschlossen wird.
danach,
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer(mmap=True)
>>> for x in t.tokenize("Premierminister Abe isst Melonenbrot"): print(x)
#Melonenbrot Nomen,Proprietäre Nomenklatur,Allgemeines,*,*,*,Melonenbrot,Melonenbrot,Melonenbrot
#Hilfs,Fallassistent,Allgemeines,*,*,*,Zu,Wo,Wo
#Iss Verb,Unabhängigkeit,*,*,Ein Schritt,Grundform,Essen,Tabel,Tabel
#Premierminister Abe Nomenklatur,Proprietäre Nomenklatur,Allgemeines,*,*,*,Premierminister Abe,Abesouri,Avesori
Recommended Posts