[PYTHON] 100 Sprachverarbeitung Knock-96 (unter Verwendung von Gensim): Extraktion des Vektors in Bezug auf den Ländernamen

Dies ist die Aufzeichnung der 96. "Extrahieren von Vektoren in Bezug auf Ländernamen" von Language Processing 100 Knock 2015. Aus der Gensim-Version des in [Knock 90.] gespeicherten Wortvektors (https://qiita.com/FukuharaYohei/items/0ab5e4ccca7e1083db1f) wird nur der Ländername extrahiert. Es ist technisch einfach, aber der Teil, der sich auf den Ländernamen bezieht, ist etwas mühsam.

Referenzlink

Umgebung

In der obigen Umgebung verwende ich die folgenden zusätzlichen Python-Pakete. Einfach mit normalem Pip installieren.

Aufgabe

Kapitel 10: Vektorraummethode (II)

In Kapitel 10 werden wir weiter daran arbeiten, Wortvektoren aus dem vorherigen Kapitel zu lernen.

96. Extraktion des Vektors für den Ländernamen

Extrahieren Sie nur den Vektor, der sich auf den Ländernamen bezieht, aus dem Lernergebnis von word2vec.

Problemergänzung (über Ländernamen)

"Sprachverarbeitung 100 knock-81 (kollektiver Ersatz): Umgang mit Ländernamen, die aus zusammengesetzten Wörtern bestehen" Ich habe über die Verwendung der Ländernamensdatei nachgedacht Die Datei enthält jedoch keinen Ein-Wort-Ländernamen (z. B. "England"). [Schritt "4. Einzelnamen löschen"](https://qiita.com/FukuharaYohei/items/67be619ce9dd33392fcd#4-%E5%8D%98%E4%B8%80%E5%90%8D%E5%89 Dies liegt daran, dass ich es mit% 8A% E9% 99% A4) gelöscht habe. Wieder [Schritt "4. Einzelnamen löschen"](https://qiita.com/FukuharaYohei/items/67be619ce9dd33392fcd#4-%E5%8D%98%E4%B8%80%E5%90%8D%E5 Ich habe den in% 89% 8A% E9% 99% A4) gelöschten Ländernamen hinzugefügt und verwendet.

Antworten

Antwortprogramm [096. Extraktion des Vektors in Bezug auf den Ländernamen.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/10.%E3%83%99%E3%82%AF%E3%83%88 % E3% 83% AB% E7% A9% BA% E9% 96% 93% E6% B3% 95% 20 (II) /096.%E5%9B%BD%E5%90%8D%E3%81%AB % E9% 96% A2% E3% 81% 99% E3% 82% 8B% E3% 83% 99% E3% 82% AF% E3% 83% 88% E3% 83% AB% E3% 81% AE% E6 % 8A% BD% E5% 87% BA.ipynb)

import numpy as np
import pandas as pd
from gensim.models import Word2Vec

model = Word2Vec.load('./090.word2vec.model')
print(model)

index = []
vector = []

with open('./096.countries.txt') as file_in:
    for line in file_in:
        country = line.rstrip().replace(' ', '_')
        try:
            vector.append(model.wv[country].tolist())
            index.append(country)
        except KeyError:
            pass

pd.DataFrame(vector, index=index).to_pickle('096.country_vector.zip')

Kommentar beantworten

Ich lese die Datei Zeile für Zeile, um den Ländernamenvektor zu erhalten und ihn der Liste hinzuzufügen. Das Leerzeichen wird durch einen Unterstrich in "100 Language Processing Knock-81 (Batch-Ersatz): Umgang mit Ländernamen, die aus zusammengesetzten Wörtern bestehen" ersetzt. Weil ich das Gleiche getan habe. Einige von ihnen sind nicht im Korpus enthalten, andere sind ausgeschlossen, da sie seltener auftreten. Daher verwenden wir "außer Schlüsselfehler", um den Fehler abzufangen.

for line in file_in:
    country = line.rstrip().replace(' ', '_')
    try:
        vector.append(model.wv[country].tolist())
        index.append(country)
    except KeyError:
        pass

Fügen Sie anschließend den Ländernamen als Index in DataFrame ein und geben Sie ihn als Datei aus. 238 Länder werden ausgegeben. Da sich die ursprüngliche Datei in 416 Ländern befand, existieren etwas weniger als 60% der Wortvektoren.

pd.DataFrame(vector, index=index).to_pickle('096.country_vector.zip')