[PYTHON] 100 Sprachverarbeitung Knock-91: Vorbereitung von Analogiedaten

Dies ist die Aufzeichnung der 91. "Aufbereitung von Analogiedaten" von Language Processing 100 Knock 2015. Diesmal ist es technisch super einfach, da es sich um ein Vorbehandlungssystem für späteres Klopfen handelt.

Referenzlink

Umgebung

Aufgabe

Kapitel 10: Vektorraummethode (II)

In Kapitel 10 werden wir weiter daran arbeiten, Wortvektoren aus dem vorherigen Kapitel zu lernen.

91. Aufbereitung von Analogiedaten

Laden Sie [Word Analogy Evaluation Data] herunter (https://github.com/svn2github/word2vec/blob/master/questions-words.txt). Die Zeile, die in diesen Daten mit ":" beginnt, repräsentiert den Abschnittsnamen. Zum Beispiel markiert die Zeile ": Kapital-gemeinsame Länder" den Beginn des Abschnitts "Kapital-gemeinsame Länder". Extrahieren Sie aus den heruntergeladenen Bewertungsdaten die im Abschnitt "Familie" enthaltenen Bewertungsfälle und speichern Sie sie in einer Datei.

• Ursprünglicher Link von Bewertungsdaten für Word-Analogien word2vec /) ist hier kaputt, also habe ich es hier geändert.

Problemergänzung

"Analoge Daten" scheinen Daten für die Analogie zu sein. Die ersten 10 Zeilen sind unten dargestellt. Ein Doppelpunkt am Anfang, wie ": gemeinsame Länder", bedeutet einen Block, gefolgt von "Athen, Griechenland, Bagdad, Irak" und der Beziehung zwischen der Hauptstadt und dem Land in zwei Sätzen auf einer Linie. Auf diese Weise sind es Daten, in denen Blöcke und Dutzende von Zeilen danach in zwei Sätzen und einer Zeile angeordnet sind. Dieses Mal werden wir den Inhalt des Familienblocks aus diesen Daten extrahieren.

questions-words.txt

: capital-common-countries
Athens Greece Baghdad Iraq
Athens Greece Bangkok Thailand
Athens Greece Beijing China
Athens Greece Berlin Germany
Athens Greece Bern Switzerland
Athens Greece Cairo Egypt
Athens Greece Canberra Australia
Athens Greece Hanoi Vietnam
Athens Greece Havana Cuba

Antworten

Antwortprogramm [091. Vorbereitung der Analogiedaten.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/10.%E3%83%99%E3%82%AF%E3%83%88% E3% 83% AB% E7% A9% BA% E9% 96% 93% E6% B3% 95% 20 (II) /091.%E3%82%A2%E3%83%8A%E3%83%AD% E3% 82% B8% E3% 83% BC% E3% 83% 87% E3% 83% BC% E3% 82% BF% E3% 81% AE% E6% BA% 96% E5% 82% 99.ipynb)

with open('./questions-words.txt') as file_in, \
       open('./091.analogy_family.txt', 'w') as file_out:

    target = False      #Zieldaten
    for line in file_in:

        if target:

            #Bei Zieldaten wird ausgegeben, bis es zu einem anderen Abschnitt wird
            if line.startswith(': '):
                break
            print(line.strip(), file=file_out)

        elif line.startswith(': family'):

            #Zieldatenerkennung
            target = True

Kommentar beantworten

Um ehrlich zu sein, habe ich technisch nichts Besonderes getan, daher habe ich keinen Grund, dies zu erklären. Wenn Sie es erzwingen, sind mehr als 90% ein Kopieren und Einfügen von 100 Amateur-Sprachverarbeitungsklopfen: 91. Die ersten 10 Zeilen des resultierenden Textes sind:

091.analogy_family.txt

boy girl brother sister
boy girl brothers sisters
boy girl dad mom
boy girl father mother
boy girl grandfather grandmother
boy girl grandpa grandma
boy girl grandson granddaughter
boy girl groom bride
boy girl he she
boy girl his her
Danach weggelassen