[PYTHON] Ich habe einen Korpusleser geschrieben, der die Ergebnisse der MeCab-Analyse liest

Imitieren von chasen.py, geschrieben von mhagiwara für das Studium von mecab. py wurde geschrieben.

mecab.py

Es wird davon ausgegangen, dass NLTK und nltk_data installiert und heruntergeladen wurden. Platzieren Sie die Daten unter nltk_data / corpora oder erstellen Sie einen symbolischen Link.

import nltk
corpora_path = nltk.data.find('corpora/test')
"""
your data must be stored or linked in nltk/corpora
"""

fileids = r'.*\.mecab'
"""
:param corpus name: regular expression or list of corpus name.
:type corpus: list or strings
"""

reader = MeCabCorpusReader(corpora_path, fileids, encoding='utf8')
print reader.raw()
print ', '.join(reader.words())
for w, t in reader.tagged_words():
    print w, t
for para in reader.paras():
    for sent in para:
        for word in sent:
            print word
for para in reader.tagged_paras():
    for sent in para:
        for (word, pos) in sent:
            print word, pos   

corpora / test ist ein Verzeichnis mit Dateien, die von MeCab analysiert wurden und die Erweiterung mecab haben. Der Inhalt der Datei sieht folgendermaßen aus.

Sumomo Substantiv,Allgemeines,*,*,*,*,Sumomo,Sumomo,Sumomo
Auch Assistent,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel Nomen,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Auch Assistent,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel Nomen,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Hilfswörter,Union,*,*,*,*,von,Nein,Nein
Davon Nomenklatur,Nicht unabhängig,Anwalt möglich,*,*,*,Zuhause,Uchi,Uchi
EOS

Die Ausgabe ist

raw()
Sumomo Substantiv,Allgemeines,*,*,*,*,Sumomo,Sumomo,Sumomo
Auch Assistent,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel Nomen,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Auch Assistent,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel Nomen,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Hilfswörter,Union,*,*,*,*,von,Nein,Nein
Davon Nomenklatur,Nicht unabhängig,Anwalt möglich,*,*,*,Zuhause,Uchi,Uchi
EOS

words()
Sumomo,Ebenfalls,Ebenfallsも,Ebenfalls,Ebenfallsも,von,Zuhause

tagged_words()
Sumomo info:Substantiv,Allgemeines,*,*,*,*,Sumomo,Sumomo,Sumomo
Auch Infos:Partikel,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel info:Substantiv,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Auch Infos:Partikel,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel info:Substantiv,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Die Info:Partikel,Union,*,*,*,*,von,Nein,Nein
Von Infos:Substantiv,Nicht unabhängig,Anwalt möglich,*,*,*,Zuhause,Uchi,Uchi

paras()
Sumomo
Ebenfalls
Pfirsiche
Ebenfalls
Pfirsiche
von
Zuhause

tagged_paras()
Sumomo info:Substantiv,Allgemeines,*,*,*,*,Sumomo,Sumomo,Sumomo
Auch Infos:Partikel,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel info:Substantiv,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Auch Infos:Partikel,Hilfe,*,*,*,*,Ebenfalls,Mo.,Mo.
Oberschenkel info:Substantiv,Allgemeines,*,*,*,*,Pfirsiche,Pfirsich,Pfirsich
Die Info:Partikel,Union,*,*,*,*,von,Nein,Nein
Von Infos:Substantiv,Nicht unabhängig,Anwalt möglich,*,*,*,Zuhause,Uchi,Uchi