[PYTHON] J'ai essayé de visualiser le modèle avec la bibliothèque d'apprentissage automatique low-code "PyCaret"

Aperçu

• PyCaret, une bibliothèque qui permet le machine learning avec low-code, est enfin devenue v1.0.
• Puisque la ** visualisation ** du modèle d'apprentissage automatique est pratique, concentrons-nous sur la ** visualisation ** du modèle et résumons-la.
• Si vous cochez Source, [Yellowbrick @ HP](https: // www. Il semble que vous utilisez scikit-yb.org/en/latest/) (Yellowbrick @ qiita).
• De plus, Qiita est également présenté dans les [balises PyCaret] suivantes (https://qiita.com/tags/pycaret).
• J'ai essayé d'utiliser PyCaret à la vitesse la plus rapide
• Introduction à la bibliothèque "PyCaret" qui automatise l'apprentissage automatique

Choses à faire

La liste est la suivante, mais elle peut être exécutée en quelques lignes en automatisant pycaret.

• ① Charger les données (carte de crédit par défaut)
• ② Prétraitement
• ③ Comparaison de modèles (comparaison de performances entre algorithmes)
• ④ Réglage des paramètres
• ⑤ Visualisation du modèle (★ Ceci est le principal, donc je vais vous expliquer ici au début ★)

Essayez-le (⑤ Visualisation du modèle)

• La procédure est ** 1er et dernier **, mais puisque le but de cet article est ** la visualisation, je voudrais la traiter comme la première **.

⑤ Visualisation du modèle

• Visualisez les caractéristiques du modèle pour le modèle terminé (tuned_model).
• En passant le modèle terminé à la fonction evaluer_model, le menu suivant sera affiché.
• Comment le tuned_model a-t-il été réalisé? Sera décrit plus tard. Tout d'abord, expliquez la visualisation.

evaluate_model(tuned_model)

• Avec juste un clic, vous pouvez tracer divers graphiques tels que la courbe ROC, la courbe d'apprentissage, la matrice de confusion, etc.
• Je voudrais ramasser ce qui m'intéressait et jeter un coup d'œil à chacun d'eux.

AUC (courbe ROC)

• Bien qu'il indique AUC, vous pouvez dessiner une courbe ROC.
• Puisqu'il a été classé en 2 classes, 2 types sont dessinés pour la classe Positive / Negative.

Confusion Matrix

• C'est aussi un processus de confusion que vous voyez souvent. Il est émis sous forme de carte thermique.

• La classification binaire semble solitaire, mais la classification à valeurs multiples fait diverses erreurs.

Error

• Lequel de Positif / Négatif avez-vous fait la prédiction pour chaque classe réelle? Est affiché.

• S'il s'agit également d'une classification à valeurs multiples, vous pouvez vous sentir plus utile.

Dicision Boundary

• C'est une frontière de décision. ** L'ensemble de données de crédit ** est "par défaut ou non?" Données déséquilibrées.

• Par conséquent, il est difficile de voir les limites car la classe Positive est ** très peu nombreuse **.

• Bien qu'il s'agisse d'une classification à valeurs multiples, la limite de décision peut être confirmée dans un ensemble de données équilibré dans une certaine mesure.

• Ce qui suit est la limite de décision de lightGBM, vous pouvez donc voir la limite dentelée de ** l'algorithme basé sur l'arborescence **.

• C'est un bonus, mais vous pouvez comprendre les caractéristiques de l'algorithme en comparant les limites de décision.

#	Logistic Regression	K Nearest Neighbour	Gaussian Process
frontière
Fonctionnalité	En raison de l'algorithme linéaire La frontière de décision est également droite	Regroupement des points à proximité Frontière	Soyez conscient de la courbe en cloche Surface incurvée lisse

Threshold

• Précision / rappel / mesure f pour chaque seuil est émis.
• Il peut être utilisé pour déterminer dans quelle mesure le seuil doit être fixé pour les caractéristiques de prédiction requises.

Precision Recall

• Le graphique Precision-Recall peut également être utilisé pour discuter des caractéristiques prédictives.
• Quels seuils la précision et le rappel répondent-ils aux caractéristiques de prédiction? Examen de Peut être utilisé pour.

Learning Curve

• La courbe d'apprentissage (nombre d'apprentissage par rapport à la précision) s'affiche.
• Les scores sont affichés pour les ensembles Train et CV, qui peuvent être utilisés pour déterminer Underfittng / Overfitting.
• Pour la courbe d'apprentissage et le jugement du sous / sur-ajustement, reportez-vous à Matériel du Dr Andrew Ng de Stanford.

Validation Curve

• Les scores de l'ensemble de trains / CV sont affichés pour les paramètres de régularisation de chaque modèle.

• Pour LightGBM, prenez le paramètre max_depth (contrôlant la profondeur de l'arbre) sur l'axe horizontal.

• Pour ce modèle

• Lorsque max_depth = 4, les performances de généralisation (score CV) sont élevées.

• Au-dessus, les performances de généralisation n'augmentent pas, mais elles sont (légèrement) surentraînées pour le train.

• Par conséquent, il semble préférable de contrôler max_depth. Il peut être utilisé pour le jugement tel que *.

• L'axe horizontal est différent pour chaque algorithme car les paramètres qui contrôlent la régularisation sont différents pour chaque modèle.

• Par exemple, dans la régression logistique, le paramètre de régularisation est ** C **, donc l'axe horizontal est C.

• Pour chaque algorithme, les paramètres sur l'axe horizontal sont résumés ci-dessous.

• Voir le code source pour plus d'informations (https://github.com/pycaret/pycaret/blob/master/classification.py#L2871-L2941). LDA n'est pas pris en charge.

Feature Importance

• Sur quelles caractéristiques ce modèle met-il l'accent? Peut être affiché.

Manifold Learning

• Affiche le résultat de l'apprentissage multidimensionnel (compression de dimension) à l'aide de t-SNE.
• La quantité d'entités utilisée et les données elles-mêmes ont-elles une résolution plutôt qu'un modèle?
• Dans le cas de la classification binaire, vous pouvez vérifier si elle peut être séparée en positif / négatif.
• Dans ces données, la quantité de caractéristiques est augmentée de 24-> 90 colonnes dans le prétraitement (décrit plus loin), donc 90 colonnes sont rendues bidimensionnelles par compression dimensionnelle et le résultat est visualisé.

Dimensions

• Ceci est également une visualisation des données elles-mêmes, [RadViz Visualizer] Affichez le résultat de (https://www.scikit-yb.org/en/latest/api/features/radviz.html).

Essayez-le ((1) Chargement des données- (4) Réglage)

① Chargement des données

• Pycaret contient diverses données. Voir Obtenir des données --PyCaret pour plus d'informations.
• Cette fois, j'aimerais prédire le défaut de la carte de crédit.

from pycaret.datasets import get_data
#Chargez l'ensemble de données de crédit.
#Si vous spécifiez True pour l'option de profil, pandas-EDA en profilant les exécutions.
data = get_data('credit',profile=False)

② Prétraitement

• L'ensemble de données de crédit est une classification binaire (prédite par la colonne ** default **).
• Par conséquent, importez la bibliothèque de classification et spécifiez la valeur par défaut pour la cible.

from pycaret.classification import *
exp1 = setup(data, target = 'default')

• Divers pré-traitement s'exécute automatiquement.
• Pour cet ensemble de données, les quantités d'entités sont passées de 24 colonnes à 90 colonnes.

③ Comparaison de modèles

• Ci-dessous, vous pouvez modéliser plusieurs algorithmes de classification.
• Bien que cela dépende des caractéristiques de la prévision que vous recherchez, commencez par les lister en AUC.

compare_models(sort="AUC")

• GBM, XGB, CatBoost, LightGBM, etc. sont alignés

④ Réglage des paramètres

• Random Forest, qui a le meilleur AUC, est bien, mais je vais l'essayer avec lightGBM, qui est relativement rapide à calculer.

tuned_model = tune_model(estimator='lightgbm')

*Les algorithmes qui peuvent être spécifiés sont les suivants.docstringMais vous pouvez le vérifier.

#Résumé *J'ai écrit la méthode de visualisation du modèle séparément, je voudrais donc finir de l'organiser par application à la fin. *En supposant que les données d'entrée-> modélisation-> résultats, je voudrais les regrouper pour les 5 objectifs suivants. * A)Comprenez les données d'entrée et la quantité de fonctionnalités elle-même. * B)Comprenez les fonctionnalités que le modèle examine. * C)Juger le statut d'apprentissage du modèle (apprentissage insuffisant, surapprentissage). * D)Tenez compte des caractéristiques prédictives du modèle et des seuils auxquels les objectifs peuvent être atteints. * E)Comprendre les performances de prédiction et les résultats de prédiction du modèle.

Utilisation	Perspective	Visualisation signifie
A)Comprenez les données d'entrée et la quantité de fonctionnalités elle-même.	Les données positives / négatives sont-elles séparables?	Manifold Learning
	Comme ci-dessus	Dimensions
B)Comprenez les fonctionnalités que le modèle examine.	Quelle caractéristique est importante	Feature Importance
C)Juger le statut d'apprentissage du modèle (apprentissage insuffisant, surapprentissage).	Est-il possible d'améliorer les performances de prédiction en augmentant le nombre d'apprentissage?	Learning Curve
	Le surapprentissage est-il supprimé par la régularisation?	Validation Curve
D)Tenez compte des caractéristiques prédictives du modèle et des seuils auxquels les objectifs peuvent être atteints.	Quelle valeur seuil correspond à la caractéristique de prédiction souhaitée?	Threshold
	Quelle est la relation entre Precision et Recall?	Precision Recall
E)Comprendre les performances de prédiction et les résultats de prédiction du modèle.	Qu'est-ce que l'AUC (Prediction Performance)?	AUC
	Comprendre les limites des résultats	Decision Boundary
	Comprendre comment faire des erreurs	Confusion Matrix
	Comme ci-dessus	Error

#finalement *Merci de rester avec nous. *Si ça ne te dérange pasAime partageJe serais heureux si vous le pouviez. *S'il y a une réponse dans une certaine mesure, j'écrirai un chef-d'œuvre (explication des paramètres, etc.).