Vérification 5) Vérifiez combien de clusters sont valides

• 4 groupes pour correspondre aux 4 caractères enregistrés comme kanji.
• Ensuite, en regardant les résultats de 4 clusters, j'ai essayé de les séparer en 8 clusters.
• Vraiment, ** Combien de grappes convient-il? ** **
• Ici, comme méthode de sélection du nombre de clusters, je voudrais visualiser et examiner l'état des clusters en utilisant les trois méthodes suivantes.

1. Elbow Chart
2. Silhouette Chart
3. dendrogram

Elbow Chart

• Le graphique en coude est un diagramme avec ** la variation des données dans chaque cluster ** sur l'axe vertical et ** le nombre de clusters ** sur l'axe horizontal.
• Vous pouvez réduire la variation en augmentant le nombre de clusters, mais c'est aussi un problème qu'il y ait trop de clusters.
• Par conséquent, ** le nombre de clusters ** et ** le nombre de clusters qui peuvent supprimer la variation des données ** sont pris en compte dans cette figure.
• Pour le dessin, nous utiliserons Yellowbrick.

from yellowbrick.cluster import KElbowVisualizer
vis = KElbowVisualizer(
    KMeans(random_state=42),
    k=(1,34) #Nombre de clusters (plage sur l'axe horizontal))
)
vis.fit(embeddings)
vis.show()

• Le sentiment que vous voyez est
• Jusqu'à 5 grappes, ** la variabilité des données (moyenne) a diminué **, mais par la suite elle est devenue stable.
• Par conséquent, ** classé en 5 groupes ** semble être bon = le kanji représentatif est ** 5 types ** semble être bon.
• Mais jetons un coup d'œil à la version agrandie (agrandie de 4-18)
• Il semble y avoir un tournant dans 5, mais il est devenu plat à partir de ** environ 10 **.
• En d'autres termes, il semble qu'il n'y ait pas d'erreur en ** classant en 8 groupes et en décidant 8 kanji représentatifs **.

from yellowbrick.cluster import KElbowVisualizer
vis = KElbowVisualizer(
    KMeans(random_state=42),
    k=(4,19) #Nombre de clusters (plage sur l'axe horizontal))
)
vis.fit(embeddings)
vis.show()

Silhouette Chart

• Silhouette Chart est un diagramme qui exprime ce qui suit pour chaque cluster.
• Axe vertical (épaisseur du graphique): nombre d'échantillons dans le cluster
• Axe horizontal (longueur du graphique): coefficient de silhouette du cluster
• Ligne brisée: coefficient de silhouette moyen
• Du point de vue, il s'agit de trouver le nombre de Glasta qui satisfait ce qui suit.
• Même nombre d'échantillons pour toutes les grappes = même épaisseur
• Le coefficient de silhouette de tous les Glasta est proche de la moyenne = la longueur est proche de la ligne brisée
• De même, Yellowbrick sera utilisé pour le dessin.

from yellowbrick.cluster import silhouette_visualizer
fig = plt.figure(figsize=(15,25))
#Dessinez ensemble de 4 à 9 grappes
for i in range(4,10):
    ax = fig.add_subplot(4,2,i-1)
    silhouette_visualizer(KMeans(i),embeddings)

• Comme vous pouvez le voir, le motif en haut à droite (** 5 groupes) est agréable.

dendrogram

• C'est un graphique qui exprime la ** proximité ** entre les clusters comme une table de tournoi.
• Puisqu'il s'agit d'un diagramme qui peut être utilisé dans le clustering hiérarchique, le clustering hiérarchique de Scipy est utilisé à la place des KMeans.
• La vue est la suivante.
• Des grappes avec des feuilles comme données et des branches de la même couleur avec la même gamme
• La hauteur est la distance entre les grappes

from scipy.cluster.hierarchy import linkage, dendrogram
Z = linkage(
    y = embeddings,
    method = 'weighted',
    metric = "euclidean",
)

R = dendrogram(
    Z=Z,
    color_threshold=1.2, #Ajuster le nombre de clusters avec ce seuil
    show_contracted=False,
)

• ** Ce serait bien que le nombre de branches de chaque couleur soit bien équilibré et que les hauteurs soient les mêmes. Après tout, le nombre de grappes est-il d'environ 5?

Nombre de clusters	Dendrogramme	commentaire
４		rougeJuste un peu cher
５		La hauteur est uniforme violetJe m'inquiète pour quelques-uns Ça fait du bien
８		La hauteur et le nombre sont les mêmes, Est-il divisé trop finement?

Vérification 6) Essayez de faire 5 clusters

• Depuis que j'ai examiné le nombre de clusters, j'aimerais à nouveau tracer à quoi il ressemblera avec 5 clusters.
• Sonne plutôt bien. Après tout, s'agit-il de 5 groupes?

from sklearn.cluster import KMeans
# clustering(Nombre de clusters: 5)
clustering = KMeans(n_clusters=5, random_state=42)
# fit_predict cluster
cl_y = clustering.fit_predict(embeddings)
# visualize
showScatter(embeddings, cl_y, clustering.cluster_centers_)

No	grappe	Centre de gravité	Autres personnages inclus
1	Bleu
2	violet
3	vert
4	rouge
5	Orange

Résumé

Impressions

• En tant que flux,
• Commencez par sélectionner un représentant de 4 caractères enregistrés comme Kanji
• Pour les 33 caractères qui ne sont pas enregistrés comme kanji, sélectionnez 1, 4 ou 8 caractères.
• Compte tenu du nombre approprié de groupes, j'ai choisi 5 caractères à la fin car 5 groupes semblaient être bons.
• Les kanji représentatifs sont les suivants, mais plus que de décider du représentant
• Il est également intéressant que ** kanji de formes similaires soient placés à proximité ** sur le plan XY avec 3000 dimensions compressées.
• Il était intéressant de pouvoir créer des ** groupes par tête ** avec un clustering basé sur la distance.
• Le nombre de grappes a également été jugé à 5 groupes sur la base des résultats de la méthode du coude, de la méthode de la silhouette et du dendogramme.
• Il était également intéressant de noter que les ** résultats de la visualisation en cluster de 5 clusters étaient raisonnablement bons **

Liste de vérification

No	Comment choisir	Représentant Saito
1	À partir de 4 kanji reconnus 1 caractèreSi vous choisissez, le représentant est
2	De tous les 33 kanji 1 caractèreSi tu choisis
3	De tous les 33 kanji 4 caractèresSi tu choisis
4	De tous les 33 kanji 8 caractèresSi tu choisis
5	Tous les 33 kanji Combien de clustersDoit être divisé en	Environ 5 clustersCela semble bon
6	De tous les 33 kanji 5 caractèresSi tu choisis

finalement

• Merci d'avoir traité une histoire aussi stupide.
• Si vous le souhaitez, je vous serais reconnaissant si vous pouviez le partager.

Informations de référence

• À propos de l'UMAP
  • https://umap-learn.readthedocs.io/en/latest/index.html
• Discussion sur le clustering dans UMAP (semble être)
  • https://umap-learn.readthedocs.io/en/latest/index.html
• À propos de KMeans
  • https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html
• Examen du nombre de grappes (Yellow Brick)
  • https://www.scikit-yb.org/en/latest/api/cluster/elbow.html
  • https://www.scikit-yb.org/en/latest/api/cluster/silhouette.html
• Dessin de dendogramme
  • https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.cluster.hierarchy.dendrogram.html

Fonction de visualisation

• J'ai fait référence à cet article. Merci beaucoup. Je vais lier.

%matplotlib inline
%config InlineBackend.figure_format = 'retina'

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
import matplotlib.lines as mlines
from matplotlib import offsetbox
from sklearn.preprocessing import MinMaxScaler
from PIL import Image
import matplotlib.patches as patches

rc = {
  'font.family': ['sans-serif'],
  'font.sans-serif': ['Open Sans', 'Arial Unicode MS'],
  'font.size': 12,
  'figure.figsize': (8, 6),
  'grid.linewidth': 0.5,
  'legend.fontsize': 10,
  'legend.frameon': True,
  'legend.framealpha': 0.6,
  'legend.handletextpad': 0.2,
  'lines.linewidth': 1,
  'axes.facecolor': '#fafafa',
  'axes.labelsize': 10,
  'axes.titlesize': 14,
  'axes.linewidth': 0.5,
  'xtick.labelsize': 10,
  'xtick.minor.visible': True,
  'ytick.labelsize': 10,
  'figure.titlesize': 14
}
sns.set('notebook', 'whitegrid', rc=rc)

def colorize(d, color, alpha=1.0):
  rgb = np.dstack((d,d,d)) * color
  return np.dstack((rgb, d * alpha)).astype(np.uint8)

colors = sns.color_palette('tab10')

def showScatter(
    embeddings,
    clusterlabels,
    centers = [],
    imgs = all.T.reshape(-1,h,w),
):
    fig, ax = plt.subplots(figsize=(15,15))
    
    #Mise à l'échelle avant de dessiner un diagramme de dispersion
    scaler = MinMaxScaler()
    embeddings = scaler.fit_transform(embeddings)
    
    source = zip(embeddings, imgs ,clusterlabels)
    
    #Dessinez des kanji sur un diagramme de dispersion
    cnt = 0
    for pos, d , i in source:
        cnt = cnt + 1
        img = colorize(d, colors[i], 0.5)
        ab = offsetbox.AnnotationBbox(offsetbox.OffsetImage(img),0.03 + pos * 0.94,frameon=False)
        ax.add_artist(ab)
          
    #Dessinez des cercles concentriques à partir du centre de gravité
    if len(centers) != 0:
        for c in scaler.transform(centers):
            for r in np.arange(3,0,-1)*0.05:
                circle = patches.Circle(
                    xy=(c[0], c[1]),
                    radius=r,
                    fc='#FFFFFF', 
                    ec='black'
                )
                circle.set_alpha(0.3)
                ax.add_patch(circle)

            ax.scatter(c[0],c[1],s=300,marker="X")
  

    #Plage de dessin de l'axe
    limit = [-0.1,1.1]
    plt.xlim(limit)
    plt.ylim(limit)
    plt.show()