[PYTHON] Persönliche Notizen und Links zum maschinellen Lernen ① (Maschinelles Lernen)

Einführung

Es gibt eine Grenze für das, was Sie von Grund auf tun können. Es gibt auch den Ausdruck "auf den Schultern eines Riesen stehen", aber ich möchte Artikel verwenden, die als Referenz als Weisheit unserer Vorgänger verwendet werden können, um unser Niveau zu verbessern.

Methode des maschinellen Lernens

Es gibt verschiedene Methoden für maschinelles Lernen, und es ist hilfreich, sie wie folgt zu organisieren.

Classification

Entscheidungsbaum

Die Genauigkeit ist nicht hoch, aber die Visualisierung durch den Baum ist sehr erklärend.

Support Vector Machine

Zufälliger Wald

Regression

Lineare Regression

LASSO kehren zurück

Regressionsmodell für die L1-Regularisierung

SVR

Zeitreihenanalyse

Clustering

Hierarchische Clusteranalyse (Aggregationsmethode)

Eine Methode, die visuell zeigt, wie viele Cluster geteilt werden müssen, indem ein Dendrogramm (Baumdiagramm) gezeichnet wird, das die Nähe von Objekten zeigt. Die Anzahl der Objekte ist jedoch auf mehrere Hundert begrenzt, da sie innerhalb des Bereichs liegt, der durch ein Dendrogramm dargestellt werden kann. Darüber hinaus ist das Lesen schwierig.

In der Welt von Data Mining und Big Data hat die Datenmenge enorm zugenommen und ist weniger beliebt geworden.

Nicht hierarchische Clusteranalyse (k-means)

Die bekannteste nicht hierarchische Clustering-Technik. Wenn Sie die Anzahl der Cluster in K teilen, bestimmt die Aufteilung automatisch die Optimierung basierend auf den Eingabeinformationen.

Das größte Merkmal und die größte Schwäche dieser Methode besteht darin, dass die Anzahl der Cluster (K) im Voraus bestimmt werden muss. Um dies zu vermeiden, wurden auch Methoden wie K-means ++ und X-means entwickelt, die automatisch die optimale Anzahl von Clustern ableiten.

Es wird auch verwendet, wenn Kunden nach ihrer Kauftendenz geclustert werden. Es ist jedoch häufig sehr unterschiedlich, z. B. ein Cluster mit Zehntausenden von Personen und ein Cluster mit nur wenigen Personen gleichzeitig, um dies zu vermeiden. Ich persönlich benutze es nicht viel, weil es schwierig ist, die Parameter anzupassen.

Spektrale Clusterbildung

Selbstorganisierende Karte (SOM, Kohonen)

Ein Modell, das die Ähnlichkeit der Eingabeinformationen eines neuronalen Netzwerks durch die Entfernung auf der Karte ausdrückt.

Da es auf der Karte (zweidimensional) ausgedrückt wird, muss bei der Bestimmung der Anzahl der Cluster über die vertikale und horizontale Multiplikation nachgedacht werden, z. B. über eine 3x3-Karte. (Daher beträgt die Anzahl der Cluster 5 oder 7 nur 1x5, 1x7, was etwas unangenehm ist.)

Ich persönlich liebe es so sehr, wenn es um Kundencluster geht, dass ich diese Methode verwenden sollte.

Da es sich um ein von Dr. T. Kohonen entwickeltes Modell handelt, wird es häufig als Kohonen anstelle einer selbstorganisierenden Karte (SOM) bezeichnet. - NumPy-Version der selbstorganisierenden Karte in Python-Generative Topographic Mapping (GTM) - Aufwärtskompatible Methode der selbstorganisierenden Karte (SOM) - Themenmodell Ursprünglich als Methode zur statistischen Analyse latenter Bedeutungen in der Verarbeitung natürlicher Sprache verwendet, um die "Wahrscheinlichkeit des Auftretens von Wörtern" in Sätzen, einem numerischen Wahrscheinlichkeitsmodell, abzuschätzen Schätzt die "Wahrscheinlichkeit des Auftretens". Netzwerk, das bei Verwendung in Daten nicht 1: 1 ist (z. B. ein Kunde gehört nicht zu einem Cluster, sondern zu mehreren Clustern. 60% Wahrscheinlichkeit, zu Cluster A zu gehören, 30% für B ...・ Es wird auch verwendet für (die Wahrscheinlichkeit der Zugehörigkeit wird geteilt). Obwohl es verschiedene Methoden für Themenmodelle gibt, wird häufig LDA (Latent Dirichlet Allocation) verwendet.

Da das Modell unterschiedliche Zugehörigkeitswahrscheinlichkeiten hat, passt es gut zur Idee der Produkt-DNA (ich persönlich denke).

Dimensionskomprimierung

Mechanismus zur Unterstützung des Lernens (auch wenn dies der Hauptmechanismus ist)

Parametereinstellung

Merkmalsauswahl

Andere

Recommended Posts

Persönliche Notizen und Links zum maschinellen Lernen ① (Maschinelles Lernen)
Persönliche Memos und Links zum maschinellen Lernen BI (BI / Visualisierung)
Maschinelles Lernen Über Overlearning
Über maschinelles Lernen gemischte Matrix
Maschinelles Lernen und mathematische Optimierung
Persönliche Hinweise zur Integration von vscode und anaconda
Was ich über KI / maschinelles Lernen mit Python gelernt habe (4)
Bedeutung des maschinellen Lernens und des Mini-Batch-Lernens
Klassifikation und Regression beim maschinellen Lernen
Organisation von Plattformen für maschinelles Lernen und tiefes Lernen
(Persönliche Notizen) Python-Metaklassen und Metaprogrammierung
Maschinelles Lernen
[Lesehinweis] Praktisches maschinelles Lernen mit Scikit-Learn, Keras und TensorFlow Kapitel 1
Über _ und __
[Maschinelles Lernen] OOB (Out-Of-Bag) und sein Verhältnis
Hinweise zur Python-Grammatik für maschinelles Lernen in PyQ
Eine Geschichte über maschinelles Lernen mit Kyasuket
Hinweise zum lokalen Ausführen von Azure Machine Learning
Zusammenfassung der Klassifizierung und Implementierung von Algorithmen für maschinelles Lernen
Erstellen einer Umgebung für Python und maschinelles Lernen (macOS)
"OpenCV-Python Tutorials" und "Praktisches maschinelles Lernsystem"
Vulkan berechnet mit Python mit VkInline und denkt über maschinelles Lernen auf der GPU und mehr nach
Eine Geschichte über die Automatisierung von Online-Mahjong (Jakutama) mit OpenCV und maschinellem Lernen
Studieren Sie maschinelles Lernen und Informatik. Ressourcenliste
Eine Geschichte über einfaches maschinelles Lernen mit TensorFlow
Python-Lernnotizen
Anmerkungen zu mit
Numerai Turnier-Fusion von traditionellen Quants und maschinellem Lernen-
Hinweise zum maschinellen Lernen (von Zeit zu Zeit aktualisiert)
[Hinweis] Python beim Starten von maschinellem Lernen / Deep Learning [Links]
Maschinelles Lernen Aufteilung der Trainingsdaten und Lernen / Vorhersage / Verifizierung
Liste der Links, die Anfänger des maschinellen Lernens lernen
Über die Entwicklungsinhalte des maschinellen Lernens (Beispiel)
[Memo] Maschinelles Lernen
Klassifikation des maschinellen Lernens
Python persönliche Notizen
Hinweise zu Pytorch
Über symbolische Links
Geschichte rund um die Datenanalyse durch maschinelles Lernen
Python-Lernnotizen
Python-Lernnotiz für maschinelles Lernen von Chainer Kapitel 11 und 12 Einführung in Pandas Matplotlib
Beispiel für maschinelles Lernen
Was ich über KI / maschinelles Lernen mit Python gelernt habe (1)
Maschinelles Lernen mit Raspberry Pi 4 und Coral USB Accelerator
Mayungos Python-Lernhinweis: Liste der Geschichten und Links
Einfaches maschinelles Lernen mit Scikit-Learn und Flask ✕ Web App
Python-Lernnotiz für maschinelles Lernen von Chainer Kapitel 1 und 2
Über das Testen bei der Implementierung von Modellen für maschinelles Lernen
Maschinelles Lernen #k Nachbarschaftsmethode und deren Implementierung und verschiedene
Was ich über KI / maschinelles Lernen mit Python gelernt habe (3)
Künstliche Intelligenz, maschinelles Lernen, tiefes Lernen zu implementieren und zu verstehen
Praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow-TensorFlow gab auf-
Was ich über KI / maschinelles Lernen mit Python gelernt habe (2)
Richten Sie Python- und maschinelle Lernbibliotheken unter Ubuntu ein
Sprechen Sie mit Cython über die Verbesserung des Engpasses bei Algorithmen für maschinelles Lernen
Über Klasse und Instanz
Zusammenfassung des Lernprogramms für maschinelles Lernen
Maschinelles Lernen ⑤ AdaBoost-Zusammenfassung
Maschinelles Lernen: Betreut --AdaBoost
Logistische Regression beim maschinellen Lernen