[PYTHON] Ensemble-Lernen und Korbanalyse

Die Kapitel 7 und 8 von Praktisches maschinelles Lernsystem entsprachen genau dem, was ich tun wollte, und fasste sie daher schnell zusammen. (Keine Formeln und Codes, nur eine Übersicht) Ich habe das Assoziationsregel-Mining nicht geschrieben, weil es ein wunderschön organisiertes Material gab. (Referenz unten)

Ensemble lernen

Beim Ensemble-Lernen werden mehrere individuell erlernte Lernende zusammengeführt, um die Generalisierungsfähigkeit (Vorhersagefähigkeit für nicht gelernte Daten) zu verbessern und einen Lernenden zu erstellen.

Als Merkmal kann jeder Lernende als eine neue Merkmalsmenge betrachtet werden, und eine neue Kombinationsmethode wird basierend auf den Trainingsdaten gelernt.

Wie das Sprichwort sagt, sind 3 Menschen die Weisheit von Bunshu. Die Diskriminierungsfähigkeit wird verbessert, indem die Anzahl der Lernenden erhöht wird. Das Lernen von Ensembles bietet neben der hohen Diskriminierungsfähigkeit die Vorteile der Einfachheit (bereiten Sie einfach mehrere Lernende vor) und der Vielseitigkeit (gilt für jeden Lernenden).

Zu diesem Zweck ist es notwendig, das Gewicht jedes Lernenden anzupassen. (Es ist selten, dass die Gewichte aller Lernenden einheitlich sind). Das heißt, der Wert, der durch Addieren aller Produkte der von jedem Lernenden vorhergesagten Bewertungen und der ermittelten Gewichte erhalten wird, wird als endgültige vorhergesagte Bewertung übernommen. (Gewichteter Durchschnitt) Das optimale ** Gewicht ** wird aus den Daten gelernt.

Abbildung (wie eine Multi-Lerner-Version eines neuronalen Netzwerks)

Es war auch in Pythons Scikit-Learn enthalten. 1.9. Ensemble methods — scikit-learn 0.15.2 documentation

Typischer Ensemble-Lernalgorithmus

Bagging, Bootstrap Aggregating

Wie es funktioniert

• Beispielbeispiele mehrmals, um viele Hypothesen aufzustellen
• Erstellen Sie eine endgültige Hypothese mit einer Sammlung von ihnen

Charakteristisch

• Stabilisierung instabiler Lernmodelle (neuronales Netz usw.)

Charakteristisch

• Sammeln Sie viel weniger leistungsfähiges maschinelles Lernen, um Prädiktoren zu erstellen, die von Natur aus leistungsfähiger sind als einzelne Lernende

[Random Forest](http://ibisforest.org/index.php?%E3%83%A9%E3%83%B3%E3%83%80%E3%83%A0%E3%83% 95% E3% 82% A9% E3% 83% AC% E3% 82% B9% E3% 83% 88)

Wie es funktioniert

• Bootstrap-Stichprobe, die Teilstichproben der Gruppe B durch Zufallsstichprobe aus den beobachteten Daten generiert, die Sie trainieren möchten
• Erstellen Sie einen $ B $ -Entscheidungsbaum, indem Sie jede Unterprobe als Trainingsdaten verwenden
• Erstellen Sie Knoten mit der folgenden Methode, bis die angegebene Anzahl von Knoten $ n_ {\ mathit {min}} $ erreicht ist.
• Wählen Sie zufällig $ m $ erklärender Variablen für Trainingsdaten aus
• Bestimmen Sie die Aufteilungsfunktion des Knotens anhand der ausgewählten erklärenden Variablen, die die Trainingsdaten und den Schwellenwert zu diesem Zeitpunkt am besten klassifizieren.

Charakteristisch

• Funktioniert gut mit vielen erklärenden Variablen
• Schnelles Lernen und Evaluieren
• Das Lernen von Entscheidungsbäumen ist völlig unabhängig und kann parallel verarbeitet werden
• Die Wichtigkeit (Beitrag) erklärender Variablen kann berechnet werden
• Eine Bewertung wie eine Kreuzvalidierung ist durch Berechnung des Out-of-Bag-Fehlers möglich (etwa 1/3 der Trainingsdaten, die im Durchschnitt nicht für das Training verwendet werden).
• Im Vergleich zu AdaBoost ist es weniger abhängig von einer bestimmten erklärenden Variablen, sodass eine Ausgabe angezeigt wird, die auch dann fehlen kann, wenn die erklärende Variable der Abfragedaten fehlt.

[Boosting](http://ibisforest.org/index.php?%E3%83%96%E3%83%BC%E3%82%B9%E3%83%86%E3%82%A3 % E3% 83% B3% E3% 82% B0)

Wie es funktioniert

• Lernen durch sequentielles Ändern des Gewichts des Beispiels
• Kombinieren, um die Genauigkeit zu verbessern

Methode

• AdaBoost aktualisiert nacheinander die Gewichte während des erneuten Abtastens von Trainingsdaten (Verständnis der Unterschiede, die in den Daten zwischen Stichproben auftreten, indem die Extraktion von Daten nach dem Zufallsprinzip wiederholt wird), was zu maschinellem Lernen führt. Fügen Sie schließlich dem maschinellen Lernen Gewicht hinzu und addieren Sie sie, um einen integrierten Lernenden zu schaffen.
• Lernen Sie viele Male mit Gewicht, ohne Koffer wegzuwerfen
• Lernen Sie mit erhöhtem Gewicht für schwache Fälle
• Lernen Sie T-Hypothesen und treffen Sie eine Mehrheitsentscheidung
• Der Effekt von AdaBoost ist bemerkenswert für Daten ohne Rauschen

Korbanalyse

Eine weitere Analysemethode zum Erlernen des Empfehlungssystems. Die Daten, die bei der Warenkorbanalyse verarbeitet werden, beziehen sich nur darauf, welche Artikel zusammen gekauft wurden, und erfordern keine Informationen darüber, ob Ihnen der Artikel gefällt oder nicht. (Item-based Poi in der kooperativen Filterung)

Diese Korbanalyse gilt nicht nur für "Einkaufskörbe". Es kann gruppiert und auf jedes Ziel angewendet werden, wenn Sie die darin enthaltenen Elemente empfehlen müssen. Empfehlen Sie dem Benutzer beispielsweise eine empfohlene Webseite aus dem Browserverlauf des Browsers.

Berühmte Geschichte von Bier und Windeln in der Korbanalyse

Referenz

Praktisches maschinelles Lernsystem Lernen des Ensembles Eine Geschichte über das Studium des Ensemble-Lernens (verschiedene Notizen?) Implementierung von Ada Boost durch Splus [Data Science by R] Gruppenlernen Random forest [What is out of bag error in Random Forests?] (http://stackoverflow.com/questions/18541923/what-is-out-of-bag-error-in-random-forests) 2. So finden Sie heraus, welche Produkte sich mit einem bestimmten Produktkonzept der Warenkorbanalyse gut verkaufen 6. Produktanalysemethode (ABC-Analyse, Assoziationsanalyse) 2 .: Assoziationsanalyse ~ Reihe "Statistiken, die Sie verwenden möchten" ~ Assoziationsanalyse