[PYTHON] J'ai écrit un lecteur de corpus qui lit les résultats de l'analyse MeCab

Mecab. py a été écrit.

mecab.py

On suppose que NLTK et nltk_data ont été installés et téléchargés. Placez les données sous `` nltk_data / corpora '' ou créez un lien symbolique.

import nltk
corpora_path = nltk.data.find('corpora/test')
"""
your data must be stored or linked in nltk/corpora
"""

fileids = r'.*\.mecab'
"""
:param corpus name: regular expression or list of corpus name.
:type corpus: list or strings
"""

reader = MeCabCorpusReader(corpora_path, fileids, encoding='utf8')
print reader.raw()
print ', '.join(reader.words())
for w, t in reader.tagged_words():
    print w, t
for para in reader.paras():
    for sent in para:
        for word in sent:
            print word
for para in reader.tagged_paras():
    for sent in para:
        for (word, pos) in sent:
            print word, pos   

`` corpora / test '' est un répertoire contenant les fichiers analysés par MeCab et a l'extension mecab. Le contenu du fichier ressemble à ceci.

Sumomo substantif,Général,*,*,*,*,Sumomo,Sumomo,Sumomo
Aussi assistant,Assistance,*,*,*,*,Aussi,Mo,Mo
Cuisse substantif,Général,*,*,*,*,Les pêches,pêche,pêche
Aussi assistant,Assistance,*,*,*,*,Aussi,Mo,Mo
Cuisse substantif,Général,*,*,*,*,Les pêches,pêche,pêche
Mots auxiliaires,syndicat,*,*,*,*,de,Non,Non
Dont nomenclature,Non indépendant,Avocat possible,*,*,*,domicile,Uchi,Uchi
EOS

La sortie est

raw()
Sumomo substantif,Général,*,*,*,*,Sumomo,Sumomo,Sumomo
Aussi assistant,Assistance,*,*,*,*,Aussi,Mo,Mo
Cuisse substantif,Général,*,*,*,*,Les pêches,pêche,pêche
Aussi assistant,Assistance,*,*,*,*,Aussi,Mo,Mo
Cuisse substantif,Général,*,*,*,*,Les pêches,pêche,pêche
Mots auxiliaires,syndicat,*,*,*,*,de,Non,Non
Dont nomenclature,Non indépendant,Avocat possible,*,*,*,domicile,Uchi,Uchi
EOS

words()
Sumomo,Aussi,Aussiも,Aussi,Aussiも,de,domicile

tagged_words()
Infos sur Sumomo:nom,Général,*,*,*,*,Sumomo,Sumomo,Sumomo
Aussi info:Particule,Assistance,*,*,*,*,Aussi,Mo,Mo
Informations sur la cuisse:nom,Général,*,*,*,*,Les pêches,pêche,pêche
Aussi info:Particule,Assistance,*,*,*,*,Aussi,Mo,Mo
Informations sur la cuisse:nom,Général,*,*,*,*,Les pêches,pêche,pêche
Info:Particule,syndicat,*,*,*,*,de,Non,Non
D'informations:nom,Non indépendant,Avocat possible,*,*,*,domicile,Uchi,Uchi

paras()
Sumomo
Aussi
Les pêches
Aussi
Les pêches
de
domicile

tagged_paras()
Infos sur Sumomo:nom,Général,*,*,*,*,Sumomo,Sumomo,Sumomo
Aussi info:Particule,Assistance,*,*,*,*,Aussi,Mo,Mo
Informations sur la cuisse:nom,Général,*,*,*,*,Les pêches,pêche,pêche
Aussi info:Particule,Assistance,*,*,*,*,Aussi,Mo,Mo
Informations sur la cuisse:nom,Général,*,*,*,*,Les pêches,pêche,pêche
Info:Particule,syndicat,*,*,*,*,de,Non,Non
D'informations:nom,Non indépendant,Avocat possible,*,*,*,domicile,Uchi,Uchi