[PYTHON] Vollständige Offenlegung der beim maschinellen Lernen verwendeten Methoden

Einführung

Es gibt mehr Möglichkeiten für jedermann, maschinelles Lernen zu lernen, wie z. B. Kaggle und Lernseiten. Andererseits habe ich das Gefühl, dass es viele Menschen gibt, die kein Gefühl für das Ganze bekommen, weil die Informationsmenge zu groß ist.

Daher möchte ich ** die Methoden des maschinellen Lernens veröffentlichen, die in verschiedenen Nachschlagewerken und Artikeln ** eingeführt wurden. Bitte beachten Sie den Link für eine detaillierte Codierung.

Auf SNS werden auch verschiedene Informationen veröffentlicht. Wenn Sie also der Meinung sind, dass es in Ordnung ist, den Artikel zu lesen Ich wäre Ihnen dankbar, wenn Sie Twitter-Konto "Saku731" folgen könnten.

Eine Reihe von maschinellen Lernschritten

Erstens sind die Fähigkeiten, die erforderlich sind, um maschinelles Lernen zu beherrschen, wie folgt. In der Praxis erfordert es viel Detailarbeit, aber zunächst reicht es aus, Folgendes zu studieren.

―― 1) Datenvisualisierung: Erfassen Sie das Gesamtgefühl der Daten und legen Sie die Vorverarbeitungsrichtlinie fest -2) Datenvorverarbeitung: Bereinigen Sie die Daten so, dass die Vorhersagegenauigkeit hoch ist. ―― 3) Auswahl des Algorithmus: Bestimmen Sie den geeigneten Algorithmus für die Daten -4) Modelllernen: Lassen Sie den Computer die Datenregeln lernen -5) Modellüberprüfung: Bestätigen Sie die Vorhersagegenauigkeit des fertigen Modells

1) Visualisierung von Daten

Grundlegende Statistiken bestätigen
Durchschnittswert
Standardabweichung --Daten sammeln
Kreuztabelle
Binning
Pivot-Tabelle
Gruppe
Grafik (Detaillierte Version ist hier) --Balkendiagramm
Streudiagramm --Wasserstoff
Box Whisker
Wärmekarte der Korrelationsmatrix

2) Datenvorverarbeitung

Umgang mit fehlenden Werten
Entfernung --Ergänzen
Datenskala ausrichten * Da der mathematische Teil schwierig ist, überspringen Sie ihn und lesen Sie ihn.
Standardisierung
Normalisierung
Codierung von Kategorievariablen
One-Hot-Codierung
Label Encoding
Klicken Sie hier, um den Unterschied in der Codierung zu erfahren
Join Table (Join DataFrame)
- merge
- concat

3) Auswahl des Algorithmus

Link ist hier

--Rückkehr

Lineare Regression (einfache Regression, multiple Regression)
Baum zurückgeben
Zufällige Waldrückgabe --Kategorie
Logistische Rückkehr --Entscheidungsbaum
Zufälliger Wald
Support Vector Machine (SVM)
Kann für beide verwendet werden
Neuronales Netzwerk (Deep Learning)
- XGBoost
- LightGBM

4) Modelllernen

Validierung --Holdout-Methode
Kreuzvalidierung
Parametereinstellung --Grid-Suche
Zufällige Suche
(Anwendung) Bayesianische Optimierung

5) Modellüberprüfung

Bewertungsindex (Rückgabe)
- RMSE ( Root Mean Squared Error )
- RMSLE ( Root Mean Squared Logarithmic Error )
- MAE ( Mean Absolute Error )
Entscheidungskoeffizient
Bewertungsindex (Klassifizierung 2 Klassen)
Konfusionsmatrix (TP, TN, FP, FN)
- Accuracy
- Precision
- Recall --F Wert --LogLoss (Cross Entropy Error) --AUC (ROC-Kurvenfläche)
Bewertungsindex (Klassifizierung mehrerer Klassen)
- multi-class accuracy
- multi-class logloss
- mean-F1, macro-F1, micro-F1

schließlich

Ich werde die Informationen von Zeit zu Zeit erhöhen. Wenn Sie Ergänzungen oder Korrekturen wünschen, kontaktieren Sie uns bitte und wir werden uns sehr freuen.

Ich schrieb auch einen Artikel in "Eine Serie, die maschinelles Lernen für die Arbeit nutzt". Bitte verwenden Sie alle Mittel.

~~ Außerdem machen wir am Ende des Satzes für eine begrenzte Zeit "** Team Development Experience Project **". ~~ ~~ Wenn Sie interessiert sind, überprüfen Sie bitte [Application Sheet] für Details. ~~ (Zusatz) Die Frist wurde geschlossen, weil sie voll ist. Das nächste Mal ist für März 2019 geplant. Wenn Sie also informiert werden möchten, füllen Sie bitte das [[Reservierungsformular]] aus (https://forms.gle/62troSMPQv8wLitQ8).