[PYTHON] Ich habe versucht, das Modell mit der Low-Code-Bibliothek für maschinelles Lernen "PyCaret" zu visualisieren.

Überblick

• PyCaret, eine Bibliothek, die maschinelles Lernen mit Low-Code ermöglicht, wurde schließlich zu v1.0.
• Da die ** Visualisierung ** des Modells des maschinellen Lernens praktisch ist, konzentrieren wir uns auf die ** Visualisierung ** des Modells und fassen sie zusammen.
• Wenn Sie die Quelle überprüfen, sehen Sie, dass [Yellowbrick @ HP](https: // www. Es scheint, dass Sie scikit-yb.org/en/latest/ verwenden (Yellowbrick @ qiita).
• Darüber hinaus wird Qiita auch in den folgenden PyCaret-Tags vorgestellt.
• Ich habe versucht, PyCaret mit der schnellsten Geschwindigkeit zu verwenden
• Einführung in die Bibliothek "PyCaret", die maschinelles Lernen automatisiert

Dinge die zu tun sind

Die Liste ist wie folgt, kann jedoch durch Automatisierung von Pycaret in wenigen Zeilen ausgeführt werden.

• ① Daten laden (Kreditkartenstandard)
• ② Vorbehandlung
• ③ Modellvergleich (Leistungsvergleich zwischen Algorithmen)
• ④ Parametereinstellung
• ⑤ Modellvisualisierung (★ Dies ist die Hauptvisualisierung, daher werde ich hier am Anfang erklären ★)

Probieren Sie es aus (⑤ Visualisierung des Modells)

• Die Prozedur ist ** 1. und letzte **, aber da der Zweck dieses Artikels ** die Visualisierung ist, möchte ich sie als die erste ** behandeln.

⑤ Modellvisualisierung

• Visualisieren Sie die Eigenschaften des Modells für das fertige Modell (Tuned_Model).
• Wenn Sie das fertige Modell an die Funktion evalu_model übergeben, wird das folgende Menü angezeigt.
• Wie wurde das tuned_model fertiggestellt? Wird später beschrieben. Erklären Sie zunächst die Visualisierung.

evaluate_model(tuned_model)

• Mit nur einem Klick können Sie verschiedene Diagramme wie ROC-Kurve, Lernkurve, Verwirrungsmatrix usw. zeichnen.
• Ich möchte aufgreifen, woran ich interessiert war, und mir jeden einzelnen ansehen.

AUC (ROC-Kurve)

• Obwohl AUC angezeigt wird, können Sie eine ROC-Kurve zeichnen.
• Da es in 2 Klassen eingeteilt wurde, werden 2 Typen für die positive / negative Klasse gezeichnet.

Confusion Matrix

• Dies ist auch ein Verwirrungsprozess, den Sie oft sehen. Es wird als Heatmap ausgegeben.

• Die binäre Klassifizierung sieht einsam aus, aber die mehrwertige Klassifizierung macht verschiedene Fehler.

Error

• Welches der positiven / negativen Ergebnisse haben Sie für jede tatsächliche Klasse vorhergesagt? Wird angezeigt.

• Wenn dies auch eine mehrwertige Klassifizierung ist, können Sie sich nützlicher fühlen.

Dicision Boundary

• Es ist eine Entscheidungsgrenze. ** Kreditdatensatz ** ist "Standard oder nicht?" Unausgeglichene Daten.

• Daher ist es schwierig, die Grenzen zu erkennen, da die positive Klasse ** sehr wenige ** ist.

• Obwohl es sich um eine mehrwertige Klassifizierung handelt, kann die Entscheidungsgrenze in einem Datensatz bestätigt werden, der bis zu einem gewissen Grad ausgeglichen ist.

• Das Folgende ist die Entscheidungsgrenze von lightGBM, sodass Sie die gezackte Grenze von ** Baumbasierter Algorithmus ** sehen können.

• Dies ist ein Bonus, aber Sie können die Eigenschaften des Algorithmus verstehen, indem Sie die Entscheidungsgrenzen vergleichen.

#	Logistic Regression	K Nearest Neighbour	Gaussian Process
Grenze
Charakteristisch	Wegen des linearen Algorithmus Die Entscheidungsgrenze ist ebenfalls gerade	Gruppieren von Punkten in der Nähe Grenze	Achten Sie auf die Glockenkurve Glatte gekrümmte Oberfläche

Threshold

• Präzision / Rückruf / f-Maß für jeden Schwellenwert wird ausgegeben.
• Hiermit kann überlegt werden, wie stark der Schwellenwert für die erforderlichen Vorhersageeigenschaften festgelegt werden soll.

Precision Recall

• Das Precision-Recall-Diagramm kann auch zur Erörterung von Vorhersageeigenschaften verwendet werden.
• Welche Schwellenwerte erfüllen sowohl Precision als auch Recall die Vorhersageeigenschaften? Untersuchung von Kann verwendet werden für.

Learning Curve

• Die Lernkurve (Anzahl der Lernvorgänge vs. Genauigkeit) wird angezeigt.
• Für Zug- und Lebenslaufsätze werden Bewertungen angezeigt, anhand derer die Unter- / Überanpassung ermittelt werden kann.
• Informationen zur Lernkurve und zur Beurteilung der Unter- / Überanpassung finden Sie unter Materialien von Dr. Andrew Ng aus Stanford.

Validation Curve

• Für die Regularisierungsparameter für jedes Modell werden Zugsatz- / CV-Satzwerte angezeigt.

• Nehmen Sie für LightGBM den Parameter max_depth (Steuern der Tiefe des Baums) auf der horizontalen Achse.

• Für dieses Modell

• Wenn max_depth = 4 ist, ist die Generalisierungsleistung (CV-Punktzahl) hoch.

• Darüber hinaus erhöht sich die Generalisierungsleistung nicht, sie ist jedoch für das Zugset (leicht) übertrainiert.

• Daher scheint es besser zu sein, max_depth zu steuern. Es kann für Beurteilungen wie * verwendet werden.

• Die horizontale Achse ist für jeden Algorithmus unterschiedlich, da die Parameter, die die Regularisierung steuern, für jedes Modell unterschiedlich sind.

• Bei der logistischen Regression lautet der Regularisierungsparameter beispielsweise ** C **, sodass die horizontale Achse C ist.

• Für jeden Algorithmus sind die Parameter auf der horizontalen Achse unten zusammengefasst.

• Weitere Informationen finden Sie unter Quellcode (https://github.com/pycaret/pycaret/blob/master/classification.py#L2871-L2941). LDA wird nicht unterstützt.

Feature Importance

• Welche Eigenschaften hebt dieses Modell hervor? Kann angezeigt werden.

Manifold Learning

• Zeigt das Ergebnis des mehrdimensionalen Lernens (Dimensionskomprimierung) mit t-SNE an.
• Haben die verwendete Feature-Menge und die Daten selbst eher eine Auflösung als ein Modell?
• Bei der binären Klassifizierung können Sie prüfen, ob sie in positiv / negativ unterteilt werden kann.
• In diesen Daten wird die Merkmalsmenge von 24-> 90 Spalten in der Vorverarbeitung (später beschrieben) erhöht, sodass 90 Spalten durch dimensionale Komprimierung zweidimensional gemacht werden und das Ergebnis visualisiert wird.

Dimensions

• Dies ist auch eine Visualisierung der Daten selbst, [RadViz Visualizer] Zeigen Sie das Ergebnis von (https://www.scikit-yb.org/en/latest/api/features/radviz.html) an.

Probieren Sie es aus ((1) Daten laden - (4) Tuning)

① Daten laden

• Pycaret enthält verschiedene Daten. Weitere Informationen finden Sie unter Daten abrufen - PyCaret.
• Dieses Mal möchte ich den Kreditkartenausfall vorhersagen.

from pycaret.datasets import get_data
#Laden Sie den Kreditdatensatz.
#Wenn Sie die Profiloption True angeben, Pandas-EDA durch Profiling läuft.
data = get_data('credit',profile=False)

② Vorbehandlung

• Kreditdatensatz ist eine binäre Klassifizierung (vorhergesagt durch ** Standard ** -Spalte).
• Importieren Sie daher die Klassifizierungsbibliothek und geben Sie die Standardeinstellung für das Ziel an.

from pycaret.classification import *
exp1 = setup(data, target = 'default')

• Verschiedene Vorverarbeitungen werden automatisch ausgeführt.
• Für diesen Datensatz werden die Feature-Mengen von 24 Spalten auf 90 Spalten erweitert.

③ Modellvergleich

• Unten können Sie für mehrere Klassifizierungsalgorithmen modellieren.
• Dies hängt von den Merkmalen der gesuchten Prognose ab. Listen Sie sie jedoch zunächst in der AUC auf.

compare_models(sort="AUC")

• GBM, XGB, CatBoost, LightGBM usw. sind in einer Reihe

④ Parametereinstellung

• Random Forest, das die beste AUC hat, ist in Ordnung, aber ich werde es mit lightGBM versuchen, das relativ schnell zu berechnen ist.

tuned_model = tune_model(estimator='lightgbm')

*Folgende Algorithmen können angegeben werden.docstringAber du kannst es überprüfen.

#Zusammenfassung *Ich habe die Methode zur Visualisierung des Modells separat geschrieben, daher möchte ich die Organisation nach Anwendung am Ende abschließen. *Unter der Annahme von Eingabedaten-> Modellierungs-> Ergebnissen möchte ich sie für die folgenden 5 Zwecke gruppieren. * A)Verstehen Sie die Eingabedaten und die Funktionsmenge selbst. * B)Verstehen Sie die Funktionen, die das Modell betrachtet. * C)Beurteilen Sie den Lernstatus des Modells (unzureichendes Lernen, Überlernen). * D)Berücksichtigen Sie die Vorhersageeigenschaften des Modells und die Schwellenwerte, bei denen die Ziele erreicht werden können. * E)Verstehen Sie die Vorhersageleistung und die Vorhersageergebnisse des Modells.

Verwenden	Perspektive	Visualisierung bedeutet
A)Verstehen Sie die Eingabedaten und die Funktionsmenge selbst.	Sind positive / negative Daten trennbar?	Manifold Learning
	Das gleiche wie oben	Dimensions
B)Verstehen Sie die Funktionen, die das Modell betrachtet.	Welche Funktion ist wichtig?	Feature Importance
C)Beurteilen Sie den Lernstatus des Modells (unzureichendes Lernen, Überlernen).	Ist es möglich, die Vorhersageleistung zu verbessern, indem die Anzahl der Lernvorgänge erhöht wird?	Learning Curve
	Wird Überlernen durch Regularisierung unterdrückt?	Validation Curve
D)Berücksichtigen Sie die Vorhersageeigenschaften des Modells und die Schwellenwerte, bei denen die Ziele erreicht werden können.	Welcher Schwellenwert entspricht der gewünschten Vorhersageeigenschaft?	Threshold
	Welche Beziehung besteht zwischen Präzision und Rückruf?	Precision Recall
E)Verstehen Sie die Vorhersageleistung und die Vorhersageergebnisse des Modells.	Was ist AUC (Prediction Performance)?	AUC
	Verstehen Sie die Grenzen der Ergebnisse	Decision Boundary
	Verstehe, wie man Fehler macht	Confusion Matrix
	Das gleiche wie oben	Error

#Schließlich *Vielen Dank für Ihren Aufenthalt bei uns. *Wenn es dir nichts ausmachtWie teilenIch würde mich freuen, wenn Sie könnten. *Wenn es zu einem gewissen Grad eine Antwort gibt, werde ich versuchen, eine Mastery Edition (Parametererklärung usw.) zu schreiben.