thème

Le 6ème projet de faire une note du contenu de la pratique que tout le monde va contester le fameux thème "Prix de la maison" problème de kaggle. C'est plus un mémo qu'un commentaire, mais j'espère que cela aide quelqu'un quelque part. La préparation a été achevée la dernière fois, et elle est enfin au stade de l'analyse.

Thème original: https://www.kaggle.com/c/house-prices-advanced-regression-techniques
Article référencé: https://yolo-kiyoshi.com/2018/12/17/post-1003/

Le travail d'aujourd'hui

Transformation de la distribution de la variable objective

Variable objective: les juniors disent "Y" → moi-même "..."
Variable objective: http://www.gen-info.osaka-u.ac.jp/testdocs/tomocom/express/express8.html

Vérifiez la répartition du SalePrice (prix de la maison) dans les données de formation. Il a été constaté que la plupart des maisons n'ont pas de piscine au moment de combler le manque. Cela signifie qu'il y a des hôtels particuliers qui ont des piscines à l'envers, et la répartition des prix des logements peut être assez faussée. Est assumé.

Je rappelle qu'il est important de dessiner sur la base d'une telle construction temporaire. Cependant, tout d'abord, le graphique est produit comme il est dit.

sns.distplot(train['SalePrice'])

À propos de Seaborn

"Qu'est-ce que sns?" Je l'ai oublié après le début, mais c'était dans la bibliothèque que j'importais en premier. Cette.

import seaborn as sns

Je vois seaborn

seaborn: Apparemment une bibliothèque pour dessiner des graphiques.
Voir seaborn: https://qiita.com/hik0107/items/3dc541158fceb3156ee0
distplot: Une méthode pour dessiner un histogramme avec seaborn.

Vérifiez ce qu'il y avait dans le train ['Sale Price']

Après cela, juste au cas où, vérifiez le contenu dans le train ['Prix de vente']. Je vois, les rangées où chacun est aligné. スクリーンショット 2020-06-29 12.07.02.png

Graphique de sortie

Et le graphique de sortie ressemble à ceci.

sns.distplot(train['SalePrice'])

Conversion de journal

Comme prévu, la base de la distribution s'étend à l'extrême droite. En effectuant une conversion logarithmique, il se rapproche d'une distribution normale.

Cependant, confirmation de "qu'est-ce que la conversion logarithmique?"

Reportez-vous à la conversion logarithmique: https://atarimae.biz/archives/13161#:~:text=%E5%AF%BE%E6%95%B0%E5%A4%89%E6%8F%9B%E3%81 % A8% E3% 81% AF% E3% 80% 81% E3% 80% 8C% E5% AF% BE% E6% 95% B0,% E3% 81% 99% E3% 82% 8B% E3% 81% 93% E3% 81% A8% E3% 82% 92% E6% 8C% 87% E3% 81% 97% E3% 81% BE% E3% 81% 99% E3% 80% 82 & texte =% E5% 85% B7 % E4% BD% 93% E7% 9A% 84% E3% 81% AB% E3% 80% 81% E8% AA% AC% E6% 98% 8E% E5% A4% 89% E6% 95% B0,% E8% 80% 83% E3% 81% 88% E3% 81% A6% E3% 81% BF% E3% 81% BE% E3% 81% 97% E3% 82% 87% E3% 81% 86% E3% 80% 82

sns.distplot(np.log(train['SalePrice']))

Modifications du tableau avant et après la conversion logarithmique

Je vais en sortir beaucoup.

np.log(train['SalePrice'])

Je vois, c'est écrasé. スクリーンショット 2020-06-29 12.17.28.png

Graphique de sortie partie 2

sns.distplot(np.log(train['SalePrice']))

Je pense qu'il a une distribution assez normale.

Construire un modèle prédictif

Je voulais entrer, mais apparemment ça sent que le temps est écoulé, donc c'est tout pour aujourd'hui.

Comme le nombre de variables est assez important cette fois, nous voulons appliquer une forte pénalité au coefficient, nous allons donc construire un modèle de prédiction utilisant la régression Lasso.

Après la préparation, j'ai étudié la régression Lasso et j'ai terminé.

Régression au lasso

Voir la régression Lasso: https://aizine.ai/ridge-lasso-elasticnet/

C'est tout.

Après être entré dans la couche d'analyse, j'ai réalisé qu'il était nécessaire de compléter les connaissances de base. Principalement sur l'analyse de régression.

[PYTHON] [Pratique pour les débutants] Lire ligne par ligne "Prédire les prix des maisons" de kaggle (6ème: Conversion de la distribution des variables objectives)