[PYTHON] 100 Sprachverarbeitung Knock-33 (mit Pandas): Sahen Nomen
Sprachverarbeitung 100 Schläge 2015 ["Kapitel 4: Morphologische Analyse"](http: //www.cl.ecei.tohoku) Es ist eine Aufzeichnung von 33. "Sahen Nomen" von .ac.jp / nlp100 / # ch4). Genau wie beim letzten Mal ist es sehr einfach, nur die Extraktionsbedingungen zu ändern.
Referenzlink
| Verknüpfung | Bemerkungen |
|---|---|
| 033.Sahen Substantiv.ipynb | Antwortprogramm GitHub Link |
| 100 Klicks Amateur-Sprachverarbeitung:33 | Kopieren Sie die Quelle vieler Quellteile und fügen Sie sie ein |
| MeCab Official | MeCab-Seite zum ersten Mal |
Umgebung
| Art | Ausführung | Inhalt |
|---|---|---|
| OS | Ubuntu18.04.01 LTS | Es läuft virtuell |
| pyenv | 1.2.16 | Ich benutze pyenv, weil ich manchmal mehrere Python-Umgebungen benutze |
| Python | 3.8.1 | python3 auf pyenv.8.Ich benutze 1 Pakete werden mit venv verwaltet |
| Mecab | 0.996-5 | apt-Installieren Sie mit get |
In der obigen Umgebung verwende ich die folgenden zusätzlichen Python-Pakete. Einfach mit normalem Pip installieren.
| Art | Ausführung |
|---|---|
| pandas | 1.0.1 |
Kapitel 4: Morphologische Analyse
Inhalt des Studiums
Wenden Sie den morphologischen Analysator MeCab auf Natsume Sosekis Roman "Ich bin eine Katze" an und erhalten Sie die Statistik der Wörter im Roman.
Morphologische Analyse, MeCab, Teiltexte, Häufigkeit des Auftretens, Zipf-Gesetz, matplotlib, Gnuplot
Inhalt anklopfen
Verwenden von MeCab für den Text (neko.txt) von Natsume Sosekis Roman "Ich bin eine Katze" Analysieren Sie die Morphologie und speichern Sie das Ergebnis in einer Datei namens neko.txt.mecab. Verwenden Sie diese Datei, um ein Programm zu implementieren, das die folgenden Fragen beantwortet.
Verwenden Sie für die Probleme 37, 38, 39 matplotlib oder Gnuplot.
33. Sahen Nomen
Extrahieren Sie die gesamte Nomenklatur der Verbindung.
Antworten
Antwortprogramm [033. A7% A3% E6% 9E% 90 / 033.% E3% 82% B5% E5% A4% 89% E5% 90% 8D% E8% A9% 9E.ipynb)
import pandas as pd
def read_text():
# 0:Oberflächentyp(surface)
# 1:Teil(pos)
# 2:Teiltexte Unterklassifizierung 1(pos1)
# 7:Grundform(base)
df = pd.read_table('./neko.txt.mecab', sep='\t|,', header=None,
usecols=[0, 1, 2, 7], names=['surface', 'pos', 'pos1', 'base'],
skiprows=4, skipfooter=1 ,engine='python')
return df[(df['pos'] != 'Leer') & (df['surface'] != 'EOS') & (df['pos'] != 'Symbol')]
df = read_text()
df[(df['pos'] == 'Substantiv') & (df['pos1'] == 'Verbindung ändern')]
Kommentar beantworten
Der folgende Satz unterscheidet sich vom letzten Mal. Es ist keine große Sache.
python
df[(df['pos'] == 'Substantiv') & (df['pos1'] == 'Verbindung ändern')]
Ausgabeergebnis (Ausführungsergebnis)
Wenn das Programm ausgeführt wird, werden die folgenden Ergebnisse ausgegeben. Ist 75 "Ja" nicht ein Fehler in MeCab?
