[PYTHON] [EDA] Introduction de Sweetviz (comparaison avec + pandas-profiling)

Jusqu'à présent, EDA utilisait pandas-profiling, mais Sweetviz Je vois parfois quelque chose comme ça, alors je l'ai essayé.

Les données utilisées étaient données Titanic.

table des matières

1. [Qu'est-ce que EDA](Qu'est-ce que # 1-eda)
2. [Exemple d'exécution Sweetviz](exemple d'exécution # 2-sweetviz)
3. [exemple d'exécution de pandas-profiling](exemple d'exécution # 3-pandas-profiling)
4. [Exemple de mise en œuvre](# 4-Exemple de mise en œuvre)
5. [Télécharger le code et les données](# 4-1-Télécharger le code et les données)
6. [Préparation environnementale](# 4-2-Préparation environnementale)
7. [Exécution de code](# 4-3-Execution de code)
8. [Enfin](# 5-Enfin)

1. Qu'est-ce que l'EDA?

EDA signifie ** Analyse des données explicatives **. Lors de l'exécution de travaux d'analyse de données tels que l'apprentissage automatique, les travaux suivants sont effectués dans le but de comprendre les données. --Visualisation de données --Comprendre les caractéristiques des données --Comprendre la relation entre les données

Si vous regardez dans les détails de l'EDA, vous en trouverez beaucoup, je vais donc l'omettre dans cet article. Veuillez vous référer aux articles suivants. ・ [Introduction to Data Scientists] Essayons les opérations de base de l'analyse exploratoire des données (EDA) en utilisant Python ・ Qu'est-ce que l'EDA (Exploratory Data Analysis)? ・ Analyse exploratoire des données (EDA)

2. Exemple d'exécution de Sweetviz

Sweetviz est une bibliothèque qui peut effectuer diverses tâches lors de l'exécution semi-automatique de l'EDA. Je présenterai immédiatement un exemple d'exécution avec Titanic data.

Après l'exécution, le html ci-dessus sera créé. Regardons le contenu en trois parties.

① Vue d'ensemble et coefficient de corrélation

Dans la partie (1), vous pouvez vérifier les ** caractéristiques de l'ensemble des données ** et le ** coefficient de corrélation **. Dans l'ensemble, le gros avantage de Sweetviz est que vous pouvez voir ** les données d'entraînement et les données d'inférence séparément **. Dans la partie de la figure ** pour chacune des données d'apprentissage et des données d'inférence ** Vous pouvez vérifier le contenu suivant.

• Nombre de lignes --Dupliquer
• utilisation de la mémoire --Nombre de fonctionnalités (** 1 SKIPPED ** s'affiche car la colonne "ID passager" est définie sur Ignorer lors de l'exécution.) --Nombre de colonnes de catégorie --Nombre de colonnes numériques --Nombre de colonnes de texte

Vous pouvez également vérifier le coefficient de corrélation en appuyant sur le bouton ** Associations **.

Ce qui précède est un exemple avec des données d'entraînement, mais comme il peut également être confirmé avec des données d'inférence, Il peut être possible de deviner s'il y a une différence dans la distribution en regardant la différence du coefficient de corrélation entre les données d'apprentissage et les données d'inférence.

② Aperçu de chaque fonctionnalité

Dans la partie de ②, vous pouvez confirmer les choses suivantes.

• Distribution de la variable objective (survécu) --Distribution des variables explicatives
• ** Taux positif (ratio où la variable objective est 1) **
• ** Comparaison des trois données d'entraînement et des données d'inférence ci-dessus **

Il est naturel que la distribution puisse être vue, Il est très pratique de voir ** «Taux positif» ** et ** «Comparaison des données d'entraînement et des données d'inférence» **. En regardant ces

• ** Dans quelle mesure la précision des prédictions de l'IA est-elle susceptible de sortir **
• ** Y a-t-il un problème avec la méthode d'acquisition des données et le nombre de données d'entraînement et de données d'inférence? (Il semble qu'il existe de nombreux cas où le timing et les utilisateurs sont différents, mais si la distribution est similaire dans une certaine mesure, on peut juger qu'il n'y a pas de problème avec le flux d'acquisition des données) **
• ** Quelle est la valeur de la variable explicative à taux positif élevé **

Il est possible de prédire beaucoup à l'avance avant de mettre en œuvre des algorithmes d'IA pour calculer la précision et la descriptivité des prédictions telles que LIME / SHAP. Si vous pouvez prédire à l'avance, vous ne croirez pas aveuglément les résultats de l'IA et il sera plus facile de considérer les résultats.

③ Détails de chaque fonctionnalité

Dans la partie (3), vous pouvez consulter des informations un peu plus détaillées sur chaque montant de fonctionnalité.

Par exemple, en plus des informations de ②, le contenu suivant s'affiche.

• Taux de déficience --Caractéristiques à coefficient de corrélation élevé --Liste fréquente de valeurs --Liste des valeurs par ordre décroissant

C'est normal ici. ** La liste par ordre décroissant de valeur ** ne peut être vue que dans le top 5 du profilage pandas, donc si vous voulez en voir un peu plus ou s'il y a 5 valeurs aberrantes ou plus, Sweetviz est efficace. Cependant, après tout, il était également affiché dans ②

• ** Taux positif (ratio où la variable objective est 1) **
• ** Comparaison des données d'entraînement et des données d'inférence **

On dirait les ** avantages de l'utilisation de Sweetviz **.

Exemple d'implémentation

Le code et la sortie html de Sweetviz sont placés dans le git suivant. Vous pouvez simplement regarder le html, et il est assez facile de déplacer le code. https://github.com/yuomori0127/sweetviz_titanic

La formule est ci-dessous. Sweetviz

3. Exemple d'exécution du profilage pandas

Nous examinerons également ** pandas-profiling **, une bibliothèque pour le même EDA. L'exemple d'implémentation Titanic de ** pandas-profiling ** est publié sur colab.

https://colab.research.google.com/github/pandas-profiling/pandas-profiling/blob/master/examples/titanic/titanic.ipynb

Je pense que c'est plus que suffisant, car cela vous donnera simplement en entrant les données. Ou plutôt, je l'ai beaucoup utilisé.

Les avantages du profilage des pandas que Sweetviz n'a pas ** Il suggère des variables explicatives à supprimer lors du prétraitement des données **. Comme le montre la figure

--Beaucoup de cardinalité (nombre de types de valeurs) --Beaucoup de valeurs manquantes --Beaucoup de zéros

• Coefficient de corrélation élevé

Etc. ** Suggérer des variables explicatives à supprimer lors du prétraitement des données **. C'est une fonction très pratique que Sweetviz n'ait pas à suggérer sans avoir à regarder le diagramme et la distribution et à dessiner le seuil par vous-même.

La formule est la suivante. pandas-profiling

4. Comparaison de Sweetviz et du profilage des pandas

J'ai fait un tableau de comparaison de Sweetviz et de pandas-profiling.

Il a à la fois les fonctions de base de l'EDA, Les détails sont un peu différents. De plus, je ne peux pas lister toutes les fonctionnalités, donc j'en ai extrait pas mal.

5. Lequel dois-je utiliser?

Personnellement, je recommande ** Sweetviz **.

Après tout, ** «Afficher le taux positif» ** et ** «Comparaison des données d'entraînement et des données d'inférence» ** sont très pratiques. L'avantage du profilage pandas est ** "Suggestion de variables explicatives à supprimer" **, Bien sûr, c'est une fonctionnalité intéressante, mais ** il est impossible de ne pas voir les données après tout, et de ne pas y penser **, et je ne sais pas si la proposition est valide, donc je n'y fais pas référence après tout. Cependant, je suis reconnaissant du ** potentiel de prévention des oublis **.

Il est difficile de décider de la supériorité ou de l'infériorité, mais les deux sont faciles à déplacer, alors essayez les deux et utilisez celui qui vous convient!