3. Verarbeitung natürlicher Sprache mit Python 1-2. So erstellen Sie einen Korpus: Aozora Bunko

Für Versuche zur Verarbeitung natürlicher Sprache ist ein Korpus (eine große Textmenge) erforderlich.
Häufig verwendet "Aozora Bunko" ist eine Bibliothek im Internet, die Texte von Werken veröffentlicht, deren Urheberrecht abgelaufen ist, wie beispielsweise moderne Literatur.
Holen Sie sich die Arbeit von "Aozora Bunko" als Material für die Verarbeitung natürlicher Sprache und organisieren Sie das Verfahren, um sie für den Korpus zu verarbeiten.

1. Holen Sie sich die Datei und extrahieren Sie nur den Text

⑴ Import verschiedener Module

import re
import zipfile
import urllib.request
import os.path
import glob

re: Abkürzung für Regular Expression, ein Modul zur Bearbeitung regulärer Ausdrücke
zipfile: Modul zum Bearbeiten von Zip-Dateien
urllib.request: Modul zum Abrufen von Ressourcen im Internet
os.path: Modul zum Bearbeiten von Pfadnamen
glob: Modul zum Abrufen des Dateipfadnamens

⑵ Dateipfad abrufen

Hier ist das Material Kenji Miyazawas "Galaxy Railroad Night".

Suchen Sie, indem Sie "Kenji Miyazawa" in das Suchfeld oben rechts auf der oberen Seite von "Aozora Bunko" eingeben.
Übergang zur entsprechenden Seite von "Liste der Werke des Künstlers: Kenji Miyazawa" oben in den Suchergebnissen.
Wählen Sie "59. Galaxy Railroad Night (neues Zeichen, neues Pseudonym, Arbeits-ID: 43737)" aus der Liste.
Scrollen Sie am Übergangsziel "Buchkarte: Nr. 43737" nach unten zu "Datei herunterladen".
Klicken Sie mit der rechten Maustaste auf ** Zip-Dateiname ** im Feld Dateiname (Link) und wählen Sie "Linkadresse kopieren".

URL = 'https://www.aozora.gr.jp/cards/000081/files/43737_ruby_19028.zip'

⑶ Methode zum Abrufen / Dekomprimieren einer Zip-Datei

def download(URL):
    zip_file = re.split(r'/', URL)[-1] #➀
    urllib.request.urlretrieve(URL, zip_file) #➁
    dir = os.path.splitext(zip_file)[0] #➂

    with zipfile.ZipFile(zip_file) as zip_object: #➃
        zip_object.extractall(dir) #➄

    os.remove(zip_file) #➅

    path = os.path.join(dir,'*.txt') #➆
    list = glob.glob(path) #➇
    return list[0] #➈

** 1) Zip-Datei herunterladen **

➀re.split (): Trennen Sie die URL-Zeichenfolge mit/und erhalten Sie am Ende den Namen der Zip-Datei" 43737_ruby_19028.zip ".
➁ urllib.request.urlretrieve (URL, Name speichern): Laden Sie die Datei direkt von der Site herunter und speichern Sie sie unter dem ZIP-Dateinamen "43737_ruby_19028.zip".
➂ os.path.splitext (): Teilen Sie den Namen der Zip-Datei durch einen Punkt "." Und erhalten Sie den Dateinamen dir ohne Erweiterung.

** 2) Entpacken und speichern Sie die Zip-Datei **

➃ zipfile.ZipFile (): Liest die zuvor gespeicherte Zip-Datei, erstellt ein Zip-Objekt und
➄ extractall (): Extrahiert den gesamten Inhalt des Zip-Objekts in das Verzeichnis dir.
➅ os.remove (): Löschen Sie die Zip-Datei vor der Dekomprimierung.

** 3) Holen Sie sich den Pfad der gespeicherten Datei **

➆ os.path.join (): Erzeugt die Pfadzeichenfolge von dir.
➇ glob.glob (): Gibt alle Textdateinamen im Verzeichnis aus und listet sie auf.
➈list [0]: Gibt den Pfad der ersten Datei in der Liste zurück.

⑷ Methode zum Lesen der Datei und zum Extrahieren des Körpers

def convert(download_text):
    data = open(download_text, 'rb').read() #➀
    text = data.decode('shift_jis') #➁

    #Textextraktion
    text = re.split(r'\-{5,}', text)[2] #➂  
    text = re.split(r'Unteres Buch:', text)[0] #➃
    text = re.split(r'[#Neue Seite]', text)[0] #➄

    #Geräuschreduzierung
    text = re.sub(r'《.+?》', '', text) #➅
    text = re.sub(r'［＃.+?］', '', text) #➆
    text = re.sub(r'｜', '', text) #➇
    text = re.sub(r'\r\n', '', text) #➈
    text = re.sub(r'\u3000', '', text) #➉   

    return text

** 1) Datei lesen **

① open (Dateiname, 'rb'). Read (): Liest die Datei in 'rb' (Binärmodus).
② decode ('shift_jis'): Dekodiere nach shift_jis und erhalte den Text.

** 2) Extrahieren des Textes mit re.split () **

➂(r '\ - {5,}', Text) [2]: Löschen Sie den Teil, in dem der Bindestrich" - "fünfmal oder öfter wiederholt wird, und verwenden Sie diesen als Trennzeichen, um das dritte Element zu teilen. Mitnahme.
④ (r'base: ', text) [0]: Löschen Sie "base:" und entfernen Sie das erste geteilte Element, indem Sie dies als Trennzeichen verwenden.
➄(r '[# Seitenumbruch]', Text) [0]: Löscht" [# Seitenumbruch] "und extrahiert das erste Element der Unterteilung, wobei dies als Trennzeichen verwendet wird.

** 3) Entfernen (Ersetzen) von Rauschen durch "re ()" **

➅'《. +?》': 《Rubi》
➆'[#. +?]': [Hinweis]
➇ '｜': Startposition der Zeichenkette mit Ruby
➈ '\ r \ n': Zeilenvorschubcode
➉ '\ u3000': Raum in voller Breite

⑸ Dateierfassung und Textextraktion

download_file = download(URL)
text = convert(download_file)

print(text)

2. "Separates Schreiben" von MeCab

⑹ Installation von MeCab, Abteilung

!apt install aptitude
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
!pip install mecab-python3==0.7

Sie können das Ergebnis als Zeichenfolge erhalten, indem Sie eine Instanz in der Klasse "MeCab.Tagger ()" mit dem Argument "-Owakati" erstellen und dann die Methode "parse ()" aufrufen.

import MeCab
mecab = MeCab.Tagger("-Owakati")
text = mecab.parse(text)

print(text)

Außerdem teilt split () die Zeichenfolge unter Verwendung eines Leerzeichens als Trennzeichen.

separated_text = text.split()
print(separated_text)

3. Wenn Sie auf Ihren lokalen PC herunterladen

⑺ Erstellen Sie eine Datei und bringen Sie sie auf Ihren lokalen PC

Laden Sie den getrennten Text auf Ihren lokalen PC herunter.

with open('output.txt', 'w') as f:
    f.write(text)

Schreiben Sie "Text" in eine Datei mit dem Namen "output.txt". Das Argument "w" ist die Schreibmodus-Spezifikation.

from google.colab import files

files.download('output.txt')

files ist ein Modul zum Hochladen oder Herunterladen von Dateien zwischen Colaboratory und Ihrem lokalen PC.
Zeigt die Textdatei nach dem Herunterladen an. Unnötige Teile wie Rubin und Fußnoten im Text wurden entfernt, sodass nur der Text separat geschrieben wurde.