[PYTHON] fastText est assez incroyable! "Yahoo! News" Clustering-Learning sans enseignants-

Dernière fois a utilisé la méthode train_supervised de fastText pour l'apprentissage supervisé et le regroupement des données d'articles de Yahoo News. Cette fois, utilisons la méthode train_unsupervised de fastText pour effectuer un apprentissage non supervisé et analyser si elle peut être regroupée aussi bien que la dernière fois.

Environnement de développement

• Docker
• JupyterLab

Début de la mise en œuvre

① Charger la bibliothèque (2) Créez un fichier appelé utility.py pour stocker les fonctions créées jusqu'à présent. À partir de là, chargez les fonctions dont vous avez besoin cette fois. ③ Utilisez la fonction YN pour obtenir des articles Yahoo News. Vous pouvez obtenir environ 500 articles sur environ 10. Cette fonction est introduite sur ici.

# ①
import pandas as pd, numpy as np
from sklearn.model_selection import train_test_split
import fasttext
from sklearn import preprocessing
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
import japanize_matplotlib
import re

# ②
import utility as util 
wakati = util.wakati
M2A = util.MecabMorphologicalAnalysis
YN = util.YahooNews
cos_sim = util.cos_sim

# ③
df = YN(1000)
# df = pd.read_csv('./YahooNews.csv') #Si vous avez déjà acquis les données, lisez-les et lancez l'analyse!
df

[====================] 502 articles

À propos du sous-mot

Je ne l'ai pas mentionné la dernière fois, mais cette fois, je vais considérer le sous-mot, qui est une caractéristique majeure de fastText. Un sous-mot consiste à diviser un mot en «sous-mots» plus petits pour saisir la pertinence des mots. Par exemple, vous pouvez apprendre la pertinence de mots qui ont une partie commune telle que «Go» et «Going». L'application d'un sous-mot a amélioré la précision, je vais donc l'utiliser. Au contraire, il semble qu'il y ait un effet néfaste sur la langue katata. Il peut être implémenté en passant maxn et minn aux arguments de train_supervised et train_unsupervised. Les valeurs par défaut sont différentes pour train_supervised et train_unsupervised. Pour plus d'informations, accédez à GitHub.

Apprentissage supervisé (train_supervised)

Tout d'abord, à titre de comparaison, exécutez le contenu de Dernière fois à la fois.

#Stocker la catégorie et le corps dans la liste respectivement
cat_lst = ['__label__' + cat for cat in df.category]
text_lst = [M2A(text, mecab=wakati) for text in df.text]

#Divisé en train et valide
text_train, text_valid, cat_train, cat_valid = train_test_split(
    text_lst, cat_lst, test_size=0.2, random_state=0, stratify=cat_lst
)

#Créer un train et des fichiers valides
with open('./s_train', mode='w') as f:
    for i in range(len(text_train)):
        f.write(cat_train[i] + ' '+ text_train[i])
        
with open('./s_valid', mode='w') as f:
    for i in range(len(text_valid)):
        f.write(cat_valid[i] + ' ' + text_valid[i])

#Apprentissage de modèle
model = fasttext.train_supervised(input='./s_train', lr=0.5, epoch=500, minn=3, maxn=5,
                                  wordNgrams=3, loss='ova', dim=300, bucket=200000)

#Vérifiez la précision du modèle
# print("TrainData:", model.test('./s_news_train'))
print("ValidData:", model.test('./s_valid'))

#Préparation d'un graphique bidimensionnel à l'aide de données valides
with open("./s_valid") as f:
    l_strip = [s.strip() for s in f.readlines()] # strip()Supprimer les caractères de saut de ligne à l'aide de
    
labels = []
texts = []
sizes = []
for t in l_strip:
    labels.append(re.findall('__label__(.*?) ', t)[0])
    texts.append(re.findall(' (.*)', t)[0])
    sizes.append(model.predict(re.findall(' (.*)', t))[1][0][0])

#Génération de vecteur à partir d'un corps d'article valide
vectors = []
for t in texts:
    vectors.append(model.get_sentence_vector(t))

#Convertir en numpy
vectors = np.array(vectors)
labels = np.array(labels)
sizes = np.array(sizes)

#Standardisation
ss = preprocessing.StandardScaler()
vectors_std = ss.fit_transform(vectors)

#Réduction de dimension
pca = PCA()
pca.fit(vectors_std)
feature = pca.transform(vectors_std)
feature = feature[:, :2]

#terrain
x0, y0, z0 = feature[labels=='Divertissement', 0], feature[labels=='Divertissement', 1], sizes[labels=='Divertissement']*1000
x1, y1, z1 = feature[labels=='Des sports', 0], feature[labels=='Des sports', 1], sizes[labels=='Des sports']*1000
x2, y2, z2 = feature[labels=='la vie', 0], feature[labels=='la vie', 1], sizes[labels=='la vie']*1000
x3, y3, z3 = feature[labels=='National', 0], feature[labels=='National', 1], sizes[labels=='National']*1000
x4, y4, z4 = feature[labels=='international', 0], feature[labels=='international', 1], sizes[labels=='international']*1000
x5, y5, z5 = feature[labels=='surface', 0], feature[labels=='surface', 1], sizes[labels=='surface']*1000
x6, y6, z6 = feature[labels=='Économie', 0], feature[labels=='Économie', 1], sizes[labels=='Économie']*1000

plt.figure(figsize=(14, 10))
plt.rcParams["font.size"]=20
plt.scatter(x0, y0, label="Divertissement", s=z0)
plt.scatter(x1, y1, label="Des sports", s=z1)
plt.scatter(x2, y2, label="la vie", s=z2)
plt.scatter(x3, y3, label="National", s=z3)
plt.scatter(x4, y4, label="international", s=z4)
plt.scatter(x5, y5, label="surface", s=z5)
plt.scatter(x6, y6, label="Économie", s=z6)
plt.title("Yahoo Actualités")
plt.xlabel('1st dimension')
plt.ylabel('2nd dimension')
plt.legend(title="category")
plt.show()

ValidData: (101, 0.801980198019802, 0.801980198019802)

Apprentissage non supervisé (train_unsupervised)

Préparation des données

Aucune étiquette n'est requise pour l'apprentissage non supervisé, il vous suffit donc d'écrire les données pour l'apprentissage. (1) La catégorie est stockée dans cat_lst, et les phrases sont séparées par la fonction M2A et stockées dans text_lst. (2) Divisez en données de train et données valides. ③ Enregistrez le texte dans un fichier.

# ①
cat_lst = [cat for cat in df.category]
text_lst = [M2A(text, mecab=wakati) for text in df.text]

# ②
text_train, text_valid, cat_train, cat_valid = train_test_split(
    text_lst, cat_lst, test_size=0.2, random_state=0, stratify=cat_lst
)

# ③
with open('./u_train', mode='w') as f:
    for i in range(len(text_train)):
        f.write(text_train[i])
        
with open('./u_valid', mode='w') as f:
    for i in range(len(text_valid)):
        f.write(text_valid[i])

Apprentissage de modèle

L'apprentissage non supervisé utilise train_unsupervised.

model = fasttext.train_unsupervised('./u_train', epoch=500, lr=0.01, minn=3, maxn=5, dim=300)

analyse des données de train

Comparaison de la similitude des vecteurs de phrases

Utilisez le modèle entraîné pour calculer la similitude du contenu de l'article. ① Utilisez la méthode get_sentence_vector pour générer un vecteur de phrase à partir du modèle entraîné. ② Affichez la catégorie d'article et le texte. (3) Calculez la similitude cosinus en utilisant la fonction cos_sim lue ci-dessus.

# ①
vectors = []
for t in text_train:
    vectors.append(model.get_sentence_vector(t.strip()))

# ②
print("<{}>".format(cat_train[0]))
print(text_train[0][:200], end="\n\n")
print("<{}>".format(cat_train[1]))
print(text_train[1][:200], end="\n\n")
print("<{}>".format(cat_train[2]))
print(text_train[2][:200], end="\n\n")

# ③
print("<{}><{}>".format(cat_train[0], cat_train[1]), cos_sim(vectors[0], vectors[1]))
print("<{}><{}>".format(cat_train[1], cat_train[2]), cos_sim(vectors[1], vectors[2]))
print("<{}><{}>".format(cat_train[0], cat_train[2]), cos_sim(vectors[0], vectors[2]))

# ①
vectors = np.array(vectors)
labels = np.array(cat_train)


# ②
ss = preprocessing.StandardScaler()
vectors_std = ss.fit_transform(vectors)


# ③
pca = PCA()
pca.fit(vectors_std)
feature = pca.transform(vectors_std)
feature = feature[:, :2]


# ④
x0, y0 = feature[labels=='Divertissement', 0], feature[labels=='Divertissement', 1]
x1, y1 = feature[labels=='Des sports', 0], feature[labels=='Des sports', 1]
x2, y2 = feature[labels=='la vie', 0], feature[labels=='la vie', 1]
x3, y3 = feature[labels=='National', 0], feature[labels=='National', 1]
x4, y4 = feature[labels=='international', 0], feature[labels=='international', 1]
x5, y5 = feature[labels=='surface', 0], feature[labels=='surface', 1]
x6, y6 = feature[labels=='Économie', 0], feature[labels=='Économie', 1]

plt.figure(figsize=(14, 10))
plt.rcParams["font.size"]=20
plt.scatter(x0, y0, label="Divertissement", s=300)
plt.scatter(x1, y1, label="Des sports", s=300)
plt.scatter(x2, y2, label="la vie", s=300)
plt.scatter(x3, y3, label="National", s=300)
plt.scatter(x4, y4, label="international", s=300)
plt.scatter(x5, y5, label="surface", s=300)
plt.scatter(x6, y6, label="Économie", s=300)
plt.title("Yahoo Actualités")
plt.xlabel('1st dimension')
plt.ylabel('2nd dimension')
plt.legend(title="category")
plt.show()

vectors = []
for t in text_valid:
    vectors.append(model.get_sentence_vector(t.strip()))

print("<{}>".format(cat_valid[0]))
print(text_valid[0][:200], end="\n\n")
print("<{}>".format(cat_valid[1]))
print(text_valid[1][:200], end="\n\n")
print("<{}>".format(cat_valid[2]))
print(text_valid[2][:200], end="\n\n")
print("<{}><{}>".format(cat_valid[0], cat_valid[1]), cos_sim(vectors[0], vectors[1]))
print("<{}><{}>".format(cat_valid[1], cat_valid[2]), cos_sim(vectors[1], vectors[2]))
print("<{}><{}>".format(cat_valid[0], cat_valid[2]), cos_sim(vectors[0], vectors[2]))

vectors = np.array(vectors)
labels = np.array(cat_valid)

ss = preprocessing.StandardScaler()
vectors_std = ss.fit_transform(vectors)

pca = PCA()
pca.fit(vectors_std)
feature = pca.transform(vectors_std)
feature = feature[:, :2]

x0, y0 = feature[labels=='Divertissement', 0], feature[labels=='Divertissement', 1]
x1, y1 = feature[labels=='Des sports', 0], feature[labels=='Des sports', 1]
x2, y2 = feature[labels=='la vie', 0], feature[labels=='la vie', 1]
x3, y3 = feature[labels=='National', 0], feature[labels=='National', 1]
x4, y4 = feature[labels=='international', 0], feature[labels=='international', 1]
x5, y5 = feature[labels=='surface', 0], feature[labels=='surface', 1]
x6, y6 = feature[labels=='Économie', 0], feature[labels=='Économie', 1]

plt.figure(figsize=(14, 10))
plt.rcParams["font.size"]=20
plt.scatter(x0, y0, label="Divertissement", s=300)
plt.scatter(x1, y1, label="Des sports", s=300)
plt.scatter(x2, y2, label="la vie", s=300)
plt.scatter(x3, y3, label="National", s=300)
plt.scatter(x4, y4, label="international", s=300)
plt.scatter(x5, y5, label="surface", s=300)
plt.scatter(x6, y6, label="Économie", s=300)
plt.title("Yahoo Actualités")
plt.xlabel('1st dimension')
plt.ylabel('2nd dimension')
plt.legend(title="category")
plt.show()