[PYTHON] 100 Sprachverarbeitung Knock-99 (mit Pandas): Visualisierung durch t-SNE

Dies ist die Aufzeichnung der 99. "Visualisierung durch t-SNE" von Language Processing 100 Knock 2015. Verwenden Sie t-SNE (t-Distributed Stochastic Neighbor Embedding), um auf zwei Dimensionen zu reduzieren und den Wortvektor wie in der folgenden Abbildung dargestellt zu visualisieren. Menschen können es in 2 oder 3 Dimensionen sehen.

Referenzlink

Umgebung

In der obigen Umgebung verwende ich die folgenden zusätzlichen Python-Pakete. Einfach mit normalem Pip installieren.

Aufgabe

Kapitel 10: Vektorraummethode (II)

In Kapitel 10 werden wir weiter daran arbeiten, Wortvektoren aus dem vorherigen Kapitel zu lernen.

99. Visualisierung durch t-SNE

Visualisieren Sie den Vektorraum mit t-SNE für> 96 Wortvektoren.

Aufgabenergänzung (t-SNE)

t-SNE (t-Distributed Stochastic Neighbor Embedding) reduziert die Dimension auf 2 oder 3. In Bezug auf die Dimensionsreduzierung entspricht dies der PCA (Hauptkomponentenanalyse). Es kann jedoch auch Daten mit einer nichtlinearen Struktur verarbeiten, die PCA nicht kann. Ich habe es ausgiebig geschrieben, aber ich verstehe die mathematischen Formeln nicht und es handelt sich um einen Verkauf des Artikels "Komprimierung und Visualisierung cooler Dimensionen durch t-SNE".

Antworten

Antwortprogramm [099.t-Visualisierung von SNE.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/10.%E3%83%99%E3%82%AF%E3%83%88 % E3% 83% AB% E7% A9% BA% E9% 96% 93% E6% B3% 95% 20 (II) /099.t-SNE%E3%81%AB%E3%82%88%E3% 82% 8B% E5% 8F% AF% E8% A6% 96% E5% 8C% 96.ipynb)

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.manifold import TSNE
from sklearn.cluster import KMeans

country_vec = pd.read_pickle('./096.country_vector.zip')
print(country_vec.info())

# t-SNE
t_sne = TSNE().fit_transform(country_vec)
print('t_sne shape:', t_sne.shape)

#KMeans Clustering
clustered = KMeans(n_clusters=5).fit_predict(country_vec)

fig, ax = plt.subplots(figsize=(22, 22))

# Set Color map
cmap = plt.get_cmap('Dark2')

for i in range(t_sne.shape[0]):
    cval = cmap(clustered[i] / 4)
    ax.scatter(t_sne[i][0], t_sne[i][1], marker='.', color=cval)
    ax.annotate(country_vec.index[i], xy=(t_sne[i][0], t_sne[i][1]), color=cval)
plt.show()

Kommentar beantworten

Fast 80% der Gesamtzahl sind eine Kopie von Artikel "Amateur Language Processing 100 Knock: 99".

Hier ist der Hauptcode für diese Zeit. TSNE von scikt-learn hat einige Parameter, aber ich habe sie mit den Standardeinstellungen ausgeführt. Einige Blogs erwähnten, dass TSNE von scikt-learn nicht sehr gut ist, aber vorerst Ich werde gehen.

t_sne = TSNE().fit_transform(country_vec)

K-Mean wird auch für nicht hierarchische Clustering als Farbe verwendet, die im Streudiagramm angezeigt werden soll.

clustered = KMeans(n_clusters=5).fit_predict(country_vec)

Verwenden Sie abschließend matplotlib, um das Streudiagramm anzuzeigen. Die Anzeigefarbe wird mit plt.get_cmap definiert, und es gibt Informationen darüber, welche Farbe sie in Farbbeispielcode: colormaps_reference.py hat. .. Der Punkt wird mit "Scatter" angezeigt, und die Bezeichnung (Ländername) wird mit "Annotate" angezeigt.

• Es ist mir peinlich, etwas über die Grundlagen von matplotlib zu lernen [Artikel" Grundkenntnisse über matplotlib, die ich früh wissen wollte, oder die Geschichte eines Künstlers, der das Erscheinungsbild anpassen kann "](https://qiita.com/skotaro/items / 08dc0b8c5704c94eafb9) Ich habe verstanden.

fig, ax = plt.subplots(figsize=(22, 22))

# Set Color map
cmap = plt.get_cmap('Dark2')

for i in range(t_sne.shape[0]):
    cval = cmap(clustered[i] / 4)
    ax.scatter(t_sne[i][0], t_sne[i][1], marker='.', color=cval)
    ax.annotate(country_vec.index[i], xy=(t_sne[i][0], t_sne[i][1]), color=cval)
plt.show()

Wenn man sich die Gegend um Japan ansieht, sieht es so aus. Es ist leichter zu verstehen als das hierarchische Clustering, das im vorherigen Klopfen durchgeführt wurde.