[PYTHON] Apprentissage automatique ⑤ Résumé AdaBoost

Résumé d'AdaBoost

Qu'est-ce qu'AdaBoost?

Adaboost est un modèle d'apprentissage automatique qui tente de créer un discriminateur fort en combinant des discriminateurs faibles qui sont légèrement plus précis que aléatoires. Le flux de la façon de faire Tout d'abord, appliquez un discriminateur faible et augmentez le poids de ceux qui ont été mal classés. Ensuite, ceux qui ont le poids sont prioritaires et classés. Je le répète.

Il est facile de comprendre si vous vous référez à la figure ci-dessous. J'ai également publié un lien Youtube, donc si vous voulez en savoir plus, jetez un œil.

Screen Shot 2017-05-13 at 12.44.42.png Extracted from Alexander Ihler's youtube video

Dans la figure ci-dessus, nous utilisons d'abord un discriminateur faible en D1 pour classer puis augmenter les poids des '+' 1 et '-' 2 mal classés en D2. Ensuite, les trois éléments mal classés sont classés par ordre de priorité et à nouveau classés. Ici, en même temps que l'augmentation du poids, le poids des autres correctement classés diminue. De plus, dans D3, les poids des «-» 3 mal classés dans D2 sont augmentés et en même temps les poids des autres sont diminués. À propos, dans le code par défaut d'AdaBoost, DecisionTree est utilisé pour cette classification de discriminateur faible.

Sur la base du poids de la classification répétée, nous ferons un discriminateur fort.

Screen Shot 2017-05-13 at 13.00.11.png Extracted from Alexander Ihler's youtube video

code par défaut

python



from sklearn.ensemble import AdaBoostClassifier

AdaBoostClassifier(base_estimator=None, n_estimators=50, learning_rate=1.0, algorithm='SAMME.R', random_state=None)

Description des paramètres dans AdaBoost

Un modèle d'apprentissage automatique utilisé comme discriminateur faible. DecisionTreeClassifier est utilisé par défaut, mais d'autres modèles d'apprentissage automatique peuvent être appliqués en le spécifiant.

Spécifiez le nombre de répétitions de la classification à l'aide d'un discriminateur faible. Cependant, avant cela, si le discriminateur fort devient précis à 100%, il s'arrête là.

Les avantages et les inconvénients d'AdaBoost.

Il est facile de classer avec précision car il combine plusieurs classificateurs faibles.

--Mauvais point

Identique aux K voisins les plus proches, il est également vulnérable au bruit (différentes étiquettes sont mélangées au même endroit) et aux valeurs aberrantes (valeurs aberrantes). Il est facile de surapprendre.

Résumé

Ce qui précède est le contour d'AdaBoost pour autant que je puisse comprendre. Nous le mettrons à jour quotidiennement, donc si vous avez quelque chose à ajouter ou à corriger, nous vous serions reconnaissants de bien vouloir commenter.

Recommended Posts

Apprentissage automatique ⑤ Résumé AdaBoost
Résumé du didacticiel d'apprentissage automatique
Apprentissage automatique: supervisé - AdaBoost
Apprentissage automatique ② Résumé Naive Bayes
Apprentissage automatique
Résumé de l'article sur l'apprentissage automatique (auto-écrit)
Apprentissage automatique ④ Résumé du K-plus proche voisin
Apprentissage automatique ① Résumé SVM (Support Vector Machine)
Résumé de l'apprentissage automatique par les débutants de Python
Apprentissage automatique ③ Résumé de l'arbre de décision
[Memo] Apprentissage automatique
Classification de l'apprentissage automatique
Exemple d'apprentissage automatique
scikit-learn Comment utiliser le résumé (apprentissage automatique)
Note récapitulative sur la programmation d'apprentissage automatique Python (Jupyter)
Résumé de la classification et de la mise en œuvre des algorithmes d'apprentissage automatique
Algorithme d'apprentissage automatique (résumé de régression linéaire et régularisation)
Apprentissage automatique sur le surapprentissage
Régression logistique d'apprentissage automatique
Machine de vecteur de support d'apprentissage automatique
Étudier l'apprentissage automatique ~ matplotlib ~
Régression linéaire d'apprentissage automatique
Mémo du cours d'apprentissage automatique
Bibliothèque d'apprentissage automatique dlib
Apprentissage automatique (TensorFlow) + Lotto 6
Résumé des fonctions d'évaluation utilisées dans l'apprentissage automatique
Apprenez en quelque sorte le machine learning
Résumé de l'apprentissage RAPIDS
Bibliothèque d'apprentissage automatique Shogun
Défi de lapin d'apprentissage automatique
Introduction à l'apprentissage automatique
Apprentissage automatique: k-voisins les plus proches
Qu'est-ce que l'apprentissage automatique?
Résumé des diapositives de la session de lecture ronde de la série professionnelle d'apprentissage automatique
Résumé du site pour apprendre l'apprentissage automatique avec une vidéo en anglais
Résumé du flux de base de l'apprentissage automatique avec Python
Modèle d'apprentissage automatique prenant en compte la maintenabilité
L'apprentissage automatique appris avec Pokemon
Ensemble de données pour l'apprentissage automatique
Apprentissage automatique dans Delemas (s'entraîner)
Une introduction à l'apprentissage automatique
Techniques liées à l'apprentissage automatique / à la classification
Machine Learning: Supervision - Régression linéaire
Bases de l'apprentissage automatique (mémoire)
Un débutant en apprentissage automatique a essayé la RBM
[Apprentissage automatique] Comprendre la forêt aléatoire
Apprentissage automatique avec Python! Préparation
Bloc-notes de ressources d'étude d'apprentissage automatique
Comprendre l'apprentissage automatique ~ régression de crête ~.
À propos de la matrice mixte d'apprentissage automatique
Apprentissage automatique: forêt supervisée - aléatoire
Mémo pratique du système d'apprentissage automatique
Démineur d'apprentissage automatique avec PyTorch
Créer un environnement d'apprentissage automatique
Programmation Python Machine Learning> Mots-clés
Algorithme d'apprentissage automatique (perceptron simple)
Utilisé en EDA pour l'apprentissage automatique
Importance des ensembles de données d'apprentissage automatique