Was in diesem Artikel einzuführen

Einführung von Paketen, die das Clustering fördern, während mehrere Clustering-Methoden zusammen verwendet werden [https://pypi.org/project/flexible-clustering-tree/)
↑ Diese Art von Clustering-Anwendungsfall ―― ↑ Ein Beispiel für diese Art von Clustering

Warum brauchen Sie Clustering?

Wenn Sie an datenbezogenen Recherchen oder Arbeiten beteiligt sind, gibt es viele Fälle, in denen Sie auf neue Daten stoßen.

Da der Inhalt neuer Daten in erster Linie nicht gut verstanden wird, müssen wir zuerst die Daten verstehen, bevor wir Forschungsrichtlinien und Analyserichtlinien berücksichtigen.

In solchen Fällen ist Clustering erforderlich. [^ 1]

Welche Art von Clustering-Anwendungsfällen haben Sie beispielsweise?

Ich habe in der Verarbeitung natürlicher Sprache im Forschungsgeschäft gearbeitet. NLP in der Forschungsbranche kann als Text Mining bezeichnet werden.

Die Basis der Forschungsindustrie ist data aggregation. Die Grundidee besteht darin, einen Umfragebericht zu erstellen, der auf den aggregierten Daten und dem Branchenwissen basiert.

Und natürlich müssen auch die Textdaten aggregiert werden. In vielen Fällen wird als Aggregationseinheit ein "für Untersuchungszwecke geeignetes Etikett" verwendet.

Es ist kein Problem, wenn das "für Untersuchungszwecke geeignete Etikett" von Anfang an bekannt ist.

Bei neuen Textdaten "Welche Art von Beschriftung soll ich überhaupt verwenden? Ich weiß nicht" müssen Sie jedoch zuerst die Beschriftung berücksichtigen.

In einem solchen Fall ist es einfacher, an Beschriftungen zu denken, wenn Sie durch Clustering einen schnellen Überblick über die Daten erhalten.

Gibt es keine andere Methode als Clustering?

Natürlich sind auch andere Ansätze als Clustering möglich.

Zum Beispiel ist der folgende Ansatz möglich.

Probieren und beschriften Sie die Daten. In einigen Fällen ist es in Ordnung, wenn nur die Anzahl der zuverlässigen Abschnitte abgetastet werden kann.
Verwenden Sie verschiedene Text Mining-Tools. Khcoder ist eine etablierte gute Software. Ich benutze es auch von Zeit zu Zeit.

Jedes hat seine eigenen Vor- und Nachteile, daher denke ich, dass die Methode, die zu Ihrem Anwendungsfall passt, die beste ist.

Wenn ich es jedoch leid bin, so zu denken, habe ich eine ungefähre Vorstellung davon, "vorerst mit Clustering zu beobachten".

Clustering? Ist es nicht okay mit Kmeans?

Ich denke, die Kombination von "vektorisiertem Text + Kmeans" ist eine königliche Straße, die seit langer Zeit benutzt wird.

Dies ist jedoch nicht die beste Kombination.

――Ein riesiger Cluster wie "Andere" wird gebildet. Wenn ich jedoch den Inhalt des Clusters betrachte, habe ich das Gefühl, dass er immer noch geteilt werden kann __ ――Wenn Clustering mit einer großen Anzahl von Clustern von Anfang an schwierig wurde, wurde es schwierig zu interpretieren. __ Ich wünschte, ich könnte das erste Mal grob und das zweite Mal etwas feiner teilen __ ――Es gibt einige Feature-Mengen, die "Ich möchte, dass Sie darauf achten und Cluster", und ich wünschte, Sie könnten die verschiedenen Feature-Mengen im ersten Cluster und im zweiten Cluster sehen __

Die Interpretation nach dem Clustering ist problematisch. .. .. __ Ich wünschte, ich könnte es schön visualisieren __

Ich habe den Teil "Ich wünschte, das wäre passiert" in Schwarz hervorgehoben.

Es ist ziemlich mühsam, ein solches Clustering-Programm selbst zu schreiben. Um ehrlich zu sein, ist es mühsam.

Also habe ich ein Paket erstellt, das solche Clustering ausführt.

Einführung von flexible_clustering_tree

Dieses Paket führt beispielsweise Folgendes aus:

――Das erste Mal ist grob geteilt (Anzahl der Cluster = 3) und das zweite Mal ist etwas feiner geteilt (Anzahl der Cluster = 8). ――Das erste Mal wird grob durch Kmeans geteilt, und das zweite Mal wird von DBSCAN unter Berücksichtigung der Verteilung geclustert.

Es gibt einen Textdatensatz, und ich möchte, dass Sie ihn zum ersten Mal durch den Funktionsbetrag des Titels teilen. Teilen Sie im zweiten Clustering bitte durch den Textkörper. --Mit einer Methode zur Visualisierung der Baumstruktur mit D3.js nach dem Clustering

Das folgende Bild ist beispielsweise ein Bild, wenn es unter den folgenden Bedingungen geclustert wird.

Der Datensatz ist 20-News-Datensatz ――In der ersten Clusterbildung wurde nur der Titel des Nachrichtentextes als Merkmalsmenge verwendet (Durchschnitt der Worteinbettung). Im zweiten Clustering wurde die Bag-of-Word-Funktion des Nachrichtentextes verwendet. --HDBSCAN wurde für das erste Clustering verwendet. Kmeans wurde für das zweite Clustering verwendet. --Nach dem Clustering in HTML ausgeben und visualisieren.

Ist es nicht in Ordnung, hierarchische Cluster von unten nach oben zu erstellen?

Bottom-up hierarchisches Clustering ist ebenfalls nicht schlecht. Es gibt Zeiten, in denen hierarchisches Clustering für Anwendungsfälle besser ist.

Hierarchisches Bottom-up-Clustering hat jedoch die Eigenschaft, dass es schwierig wird, zu berechnen und auszuführen, wenn die Anzahl der Daten sehr groß wird.

Die Idee dieses Pakets ist immer noch die umgekehrte Version des hierarchischen Bottom-up-Clusters.

Ich habe es mit Live Door News Corpus versucht

Es gibt einen Datensatz namens Live Door News Corpus, der von Ronwitt Co., Ltd. veröffentlicht wurde.

Der Livedoor News Corpus ist nach Nachrichtenkategorien unterteilt, aber nehmen wir an, dass es hier kein Kategorielabel gab.

Es macht keinen Spaß, es einfach zu "probieren", deshalb dachte ich, es wäre interessant, eine Analyse-Geschichte zu haben. Daher habe ich das folgende Beispiel als Beispiel in der Nähe des Geschäftsanwendungsfalls betrachtet.

――Sie sind eine Person, die so etwas wie eine Datenanalyse eines Unternehmens durchführt, das einen Webdienst betreibt. »Eines Tages kam ein solches Thema von irgendwoher.

Die Artikel des Nachrichtendienstes, den wir betreiben, haben sich angesammelt. Ich möchte Nachrichtenartikel mit Tags versehen, um den Benutzern die Suche zu erleichtern. ――Aber wenn Sie es vermasseln, kann das Markieren den Benutzer nur verwirren.
Beobachten Sie den Inhalt des Nachrichtenartikels und denken Sie an ein gutes Tag. Grüße ☆ ――Sie haben tatsächlich andere Aufgaben, und Sie können es sich nicht leisten, Zeit mit dem Thema zu verbringen, das heruntergekommen ist.

~~ Ah. .. .. Dieser Anwendungsfall scheint mein Beispiel gewesen zu sein ... ~~

Welche Art von Verfahren möchten Sie beobachten?

Ich werde die folgenden Schritte ausführen.

Datenvorverarbeitung. Es heißt Wortteilung.
Quantifizierung der Textmerkmale.
Führen Sie das Clustering durch.
Visualisierung von Inhalten mit D3.js Baumstruktur
Bereiten Sie Daten vor, um den Cluster zu erklären

Datenvorverarbeitung und Wortteilung

Der Live Door News Corpus enthält zwei Arten von Text: "Titel" und "Text".

Lassen Sie uns diesmal diese beiden als separate Merkmalsgrößen behandeln.

Verwenden Sie Mecab, um Wörter zu teilen. Dieses Skript verarbeitet.

Quantifizierung von Textmerkmalen

Der Live Door News Corpus enthält zwei Arten von Text: "Titel" und "Text".

Zunächst der Titeltext. Der Titel ist Kurztext. Mit dieser Kürze sollte die durchschnittliche Einbettung von Wörtern in Ordnung sein.

Als nächstes kommt der Text. Der Text ist ziemlich lang. Es scheint etwas rau zu sein, diese Länge durch Worteinbettung zu mitteln.

Doc2vec ist eine Verschwendung von Zeit und Mühe, um ein Modell zu erstellen. Es ist auch mühsam, Computerressourcen vorzubereiten, die Bert schnell ausführen können.

Es gibt andere Optionen für die Vektoreinbettung von Dokumenten, aber __ Ich habe nicht viel Zeit __

Daher verwenden wir den klassischen Ansatz der Wortfrequenzmatrix und der Matrixkomprimierung.

Der gesamte Ablauf ist dieses Skript.

Clustering durchführen

Ich werde hier erklären, indem ich den Code zeige. Der gesamte Ablauf ist dieses Skript.

Stellen Sie zunächst die Merkmalsmengenmatrix ein.

Die erste Titelmatrix lautet "title_vectors". Die zweite Körpermatrix ist "low_dim_matrix".

Beide sind Matrizen von (Anzahl der Dokumente * Anzahl der Feature-Dimensionen).

Geben Sie an, wie oft Sie "level" festlegen möchten, wenn Sie eine Matrix auf "flexible_clustering_tree.FeatureMatrixObject" setzen.

import flexible_clustering_tree

#Verschiedene Verarbeitungen werden hier weggelassen
feature_1st_layer = flexible_clustering_tree.FeatureMatrixObject(level=0, matrix_object=numpy.array(title_vectors))
feature_2nd_layer = flexible_clustering_tree.FeatureMatrixObject(level=1, matrix_object=low_dim_matrix)

Kombinieren Sie als Nächstes diese beiden FeatureMatrixObjects zu einem.

Die dict_index2-Attribute können Informationen speichern, die als zusätzliche Erklärung für die Daten verwendet werden können (Option). Es wird überhaupt nicht als Feature-Menge verwendet. Diese Informationen werden in dem Baum angezeigt, den Sie später visualisiert haben, was die Interpretation erleichtert. Hier werden Titel, Text und Kategorielabel gespeichert.

Das text_aggregation_field kann eine zweidimensionale Liste [[word]] (Option) enthalten. Wörter werden mit diesen Informationen aggregiert, und die aggregierten Informationen werden im visualisierten Baum angezeigt, was die Interpretation erleichtert. Die zweidimensionale Liste ist "Anzahl der Dokumente * Anzahl der Wörter (variabel und OK)".

multi_matrix_obj = flexible_clustering_tree.MultiFeatureMatrixObject(
    matrix_objects=[feature_1st_layer, feature_2nd_layer],
    dict_index2label={i: label for i, label in enumerate(livedoor_labels)},
    dict_index2attributes={i: {
        'file_name': livedoor_file_names[i],
        'document_text': ''.join(document_text[i]),
        'title_text': ''.join(title_text[i]),
        'label': livedoor_labels[i]
    } for i, label in enumerate(livedoor_labels)},
    text_aggregation_field=document_morphs_text_aggregation
)

Geben Sie als Nächstes die Clustering-Methode an. Lassen Sie HDBSCAN das erste Mal unter Berücksichtigung der Gesamtverteilung teilen [^ 2] Da HDBSCAN die Anzahl der Cluster nicht angibt, geben Sie "n_cluster = -1" an.

from hdbscan import HDBSCAN
clustering_operator_1st = flexible_clustering_tree.ClusteringOperator(level=0, n_cluster=-1, instance_clustering=HDBSCAN(min_cluster_size=3))

Das zweite Mal werde ich es in 8 Cluster teilen.

from sklearn.cluster import KMeans
clustering_operator_2nd = flexible_clustering_tree.ClusteringOperator(level=1, n_cluster=8, instance_clustering=KMeans(n_clusters=8))

Kombinieren Sie als Nächstes diese beiden Clustering-Operatoren zu einem.

multi_clustering_operator = flexible_clustering_tree.MultiClusteringOperator([clustering_operator_1st, clustering_operator_2nd])

Dann wird das Clustering ausgeführt.

Wenn Sie "max_depth = 3" angeben, wird es bis zur Tiefe von 3 geteilt. Wenn es nicht geteilt werden kann, stoppt es automatisch.

Die zuletzt angegebene Clusterbedingung wird für das zweite und nachfolgende Clustering verwendet.

Mit anderen Worten, die Textfunktionen werden mit Kmeans gruppiert.

# run flexible clustering
clustering_runner = flexible_clustering_tree.FlexibleClustering(max_depth=3)
index2cluster_no = clustering_runner.fit_transform(multi_matrix_obj, multi_clustering_operator)

Visualisieren Sie den Baum und speichern Sie ihn in HTML.

html = clustering_runner.clustering_tree.to_html()
with open(PATH_OUTPUT_HTML, 'w') as f:
    f.write(html)

Ich möchte die Daten später aggregieren, also geben wir die Tabelle an tsv aus.

#Sie können Tabelleninformationen für Aggregationszwecke abrufen
import pandas
table_information = clustering_runner.clustering_tree.to_objects()
pandas.DataFrame(table_information['cluster_information']).to_csv('cluster_relation.tsv', sep='\t')
pandas.DataFrame(table_information['leaf_information']).to_csv('leaf_information.tsv', sep='\t')

Visualisierung von Inhalten mit D3.js Baumstruktur

Dieser Cluster ist das Ergebnis der Aufteilung nur durch den Titel. Wortaggregationsinformationen werden neben dem Knoten im roten Rahmen angezeigt. Aus den Inhalten von Apps, Android und Google geht hervor, dass es sich um ein Thema zu Android-Smartphones handelt.

Wie Sie aus diesem Cluster ersehen können ... Wortaggregation, war es immer noch eine Kommunikation mit einer einzelnen Frau. Es könnte Tags wie "# Ich möchte einen reichen Mann heiraten" geben.

Dieser Baum ist nach Clustergröße von oben nach unten sortiert. Werfen wir einen Blick auf den besten Cluster. Die Clustergröße wird in das Feld "Daten-ID" geschrieben. Es scheint, dass sich 6.515 Dokumente in diesem Cluster befinden. Dies sieht aus wie ein "anderer" Cluster. Dies ist bei Dichteclustern wie HDBSCAN üblich.

Teilen wir nun den "anderen" Cluster auf. Es wird durch Kmeans geteilt. Das Bild ist ein Cluster mit vielen Sportnachrichten. Aus den Worten kann geschlossen werden, dass der Inhalt so etwas wie "Japan National Sports News" ist.

Zunächst einmal konnte ich den groben Inhalt des Clustering-Ergebnisses auf diese Weise bestätigen.

Vorbereiten von Daten zur Erläuterung des Clusters

Sie können den Baum mit Ihren eigenen Augen betrachten, aber es fühlt sich ein wenig hart an. Da der Zweck darin besteht, Tags zu entwickeln, benötigen wir gute Informationen, um über Tags nachzudenken.

Darüber hinaus besteht im Zusammenhang mit diesem Thema eine hohe Wahrscheinlichkeit, dass "Daten oder Materialien angefordert werden, die das Service-Management-Team den Grund für das Tag verstehen kann".

Sie sind jemand, der Daten analysiert. Sie können also nicht einfach das Service-Management-Team fragen, warum Sie taggen, und sagen: "Ich weiß nicht." Ich würde gerne "basierend auf diesen Daten" gehen (Brille schnell).

Betrachten Sie daher die nächste Strategie.

Erhalten Sie Feature-Wörter mit TF-IDF für jeden Cluster. In eine Excel-Datei exportieren.
Schreiben Sie die entsprechenden Tags, die aus den Feature-Wörtern in der Excel-Datei abgeleitet wurden (manuell).

Zuerst schrieb ich das Ergebnis der TFIDF-Gewichtung in csv. label ist die Clusternummer. Der 374-Cluster ist wahrscheinlich ein Kleidungsinhalt.

Schreiben Sie daher "Kleidung" in die Spalte "Tag".

Sie müssen diese Arbeit nur wiederholen.

Als ich es tatsächlich ausprobierte, konnte ich das Tag in 20 bis 30 Sekunden pro Cluster erraten.

Da diesmal 348 Cluster vorhanden sind, wird diese Arbeit in 348 Clustern abgeschlossen * 30 Sekunden = 10440 Sekunden = 178 Minuten.

~~ Youtube-Anzeigezeit ~~ Selbst unter Berücksichtigung der Pausenzeit werden die Tag-Rätselraten in 4-6 Stunden abgeschlossen sein.

Dann können Sie ganz einfach einen Arbeitsplan erstellen und es ist einfacher zu verhandeln, "Hey Boss ~. Das Markieren der Arbeit dauert ungefähr 8 Stunden, also ist es gut (Arbeitszeit + Pufferzeit + Überspringzeit)". Ich werde.

Wenn Sie nach dem Erraten des Tags ein schönes Folienmaterial erstellen und es dem Service-Management-Team geben, sind Sie dankbar ~

Das ist mein Gehirngedicht.

Übrigens habe ich das Paket [flexible_clustering_tree] eingeführt (https://pypi.org/project/flexible-clustering-tree/).

Der für das Gedicht im Gehirn verwendete Code befindet sich in diesem Repository.

Wo dieses Paket noch nicht hingegangen ist

In diesem Paket gibt es noch viel Raum für Verbesserungen. PR ist willkommen.

Zum Beispiel

Wenn eine große Anzahl von Clustern auftritt, wird die Verarbeitung verlangsamt. Da der Suchprozess für die Breitenpriorität in der while-Anweisung geschrieben ist, nimmt er im Verhältnis zur Anzahl der Cluster viel Zeit in Anspruch. --D3.js-basierte Baumvisualisierung ist nicht gut genug. Ich bin anfällig für das Frontend, daher kann ich keinen schönen Baum bauen.

[^ 1]: Dies wird auch als explorative Datenanalyse bezeichnet. [^ 2]: Eine weiterentwickelte Version von DBSCAN. Der Rechenaufwand ist hinsichtlich des Algorithmus geringer als der von DBSCAN, und die Implementierung ist geplant und schnell.

[PYTHON] Lassen Sie uns ein Clustering durchführen, das eine schöne Vogelperspektive auf den Textdatensatz bietet