[PYTHON] Divulgation complète des méthodes utilisées dans l'apprentissage automatique

introduction

Il existe plus d'opportunités pour quiconque d'apprendre le machine learning, comme le kaggle et les sites d'apprentissage. D'un autre côté, j'ai le sentiment qu'il y a beaucoup de gens qui n'ont pas une idée de l'ensemble parce que la quantité d'informations est trop importante.

Par conséquent, je souhaite publier ** les méthodes utilisées dans l'apprentissage automatique introduites dans divers ouvrages et articles de référence **. Veuillez consulter le lien pour un codage détaillé.

Diverses informations sont également publiées sur SNS, donc si vous pensez que vous pouvez lire l'article Je vous serais reconnaissant de bien vouloir suivre Compte Twitter "Saku731".

Une série d'étapes d'apprentissage automatique

Tout d'abord, les compétences requises pour maîtriser l'apprentissage automatique sont les suivantes. En pratique, cela demande beaucoup de travail détaillé, mais au début, il suffit d'étudier ce qui suit.

―― 1) Visualisation des données: saisissez le sentiment général des données et décidez de la politique de prétraitement -2) Prétraitement des données: nettoyez les données afin que la précision de la prédiction soit élevée. ―― 3) Sélection de l'algorithme: Déterminez l'algorithme approprié pour les données -4) Apprentissage du modèle: laissez l'ordinateur apprendre les règles des données -5) Vérification du modèle: confirmer l'exactitude de la prédiction du modèle terminé

1) Visualisation des données

• Confirmer les statistiques de base
• Valeur moyenne
• écart-type --Données agrégées
• Tableau croisé
• Binning
• Tableau croisé dynamique
• Groupe
• Graph (La version détaillée est ici) --Graphique à barres
• Nuage de points --Hydrogène --Boîte moustaches
• Carte thermique de la matrice de corrélation

2) Prétraitement des données

• Gestion des valeurs manquantes
• Enlèvement --Complément
• Aligner l'échelle de données * Puisque la partie mathématique est difficile, sautez-la et lisez-la.
• Normalisation
• Normalisation
• Encodage de variable de catégorie
• encodage à chaud
• Codage d'étiquette
• Cliquez ici pour connaître la différence de codage
• Join Table (Join DataFrame)
  • merge
  • concat

3) Sélection de l'algorithme

Le lien est ici

--Revenir --Régression linéaire (régression simple, régression multiple)

• Arbre de retour
• Retour de forêt aléatoire --Catégorie
• Retour logistique --Arbre de décision --Forêt aléatoire -Support Vector Machine (SVM) --Peut être utilisé pour les deux --Réseau neuronal (apprentissage profond)
  • XGBoost
  • LightGBM

4) Apprentissage du modèle

• Validation --Méthode de suspension --Validation croisée
• Réglage des paramètres
• Recherche Grille
• Recherche aléatoire
• (Application) Optimisation bayésienne

5) Vérification du modèle

• Index d'évaluation (retour)
  • RMSE ( Root Mean Squared Error )
  • RMSLE ( Root Mean Squared Logarithmic Error )
  • MAE ( Mean Absolute Error )
• Coefficient de décision
• Indice d'évaluation (classification en 2 classes)
• Matrice de confusion (TP, TN, FP, FN)
  • Accuracy
  • Precision
  • Recall --F valeur --LogLoss (Erreur d'entropie croisée) --AUC (aire de la courbe ROC)
• Indice d'évaluation (classification multi-classes)
  • multi-class accuracy
  • multi-class logloss
  • mean-F1, macro-F1, micro-F1

à la fin

J'augmenterai les informations de temps en temps. Si vous avez des demandes d'ajouts ou de corrections, veuillez nous contacter et cela sera grandement apprécié.

J'ai également écrit un article dans "Une série qui utilise l'apprentissage automatique pour le travail". Veuillez utiliser tous les moyens.

• Partie 1: Comprendre l'objectif de l'apprentissage automatique
• Partie 2: Présentation du projet de développement de l'IA
• Partie 3: Procédure de codage Python

Diverses informations sont également publiées sur SNS, donc si vous pensez que vous pouvez lire l'article Je vous serais reconnaissant de bien vouloir suivre Compte Twitter "Saku731".

~~ De plus, à la fin de la phrase, nous faisons "** Team Development Experience Project **" pour une durée limitée. ~~ ~~ Si vous êtes intéressé, veuillez consulter [Fiche de candidature] pour plus de détails. ~~ (Une addition) La date limite a été fermée car elle est pleine. La prochaine fois est prévue pour mars 2019, donc si vous souhaitez être informé, veuillez remplir le [Formulaire de réservation].