[PYTHON] Apprentissage d'ensemble et analyse de paniers

Les chapitres 7 et 8 de Practical Machine Learning System étaient proches de ce que je voulais faire, je les ai donc résumés rapidement. (Pas de formules et de codes, juste un aperçu) Je n'ai pas écrit la règle d'association minière parce qu'il y avait un matériel magnifiquement organisé. (Référence en bas)

Apprentissage d'ensemble

L'apprentissage d'ensemble est le processus de fusion de plusieurs apprenants individuellement appris pour améliorer la capacité de généralisation (capacité de prédiction pour les données non apprises) et créer un apprenant.

En tant que fonctionnalité, chaque apprenant peut être considéré comme une nouvelle quantité de fonctionnalités et une nouvelle méthode de combinaison est apprise en fonction des données d'apprentissage.

Comme le dit le proverbe, ** 3 personnes sont la sagesse de Bunshu **. La capacité de discrimination s'améliore en augmentant le nombre d'apprenants. L'apprentissage d'ensemble présente les avantages de la simplicité (il suffit de préparer plusieurs apprenants) et de la polyvalence (applicable à tout apprenant) en plus d'une capacité de discrimination élevée.

Pour cela, il est nécessaire d'ajuster le poids de chaque apprenant. (Il est rare que les poids de tous les apprenants soient uniformes). Autrement dit, la valeur obtenue en ajoutant tous les produits des évaluations prédites par chaque apprenant et les poids déterminés est adoptée comme note finale prévue. (Moyenne pondérée) Le ** poids ** optimal est appris à partir des données.

Figure (comme une version multi-apprenants d'un réseau de neurones)

Il a également été inclus dans Scikit-Learn de Python. 1.9. Ensemble methods — scikit-learn 0.15.2 documentation

Algorithme d'apprentissage d'ensemble typique

Bagging, Bootstrap Aggregating

Comment ça fonctionne

Exemples d'exemples plusieurs fois pour faire de nombreuses hypothèses
Créer une hypothèse finale avec une collection d'entre eux

Fonctionnalité

Stabilisation de modèles d'apprentissage instables (réseau neuronal, etc.)

Fonctionnalité

Collecte de nombreux outils d'apprentissage automatique moins puissants pour créer des prédicteurs qui sont intrinsèquement plus capables que les apprenants individuels

[Random Forest](http://ibisforest.org/index.php?%E3%83%A9%E3%83%B3%E3%83%80%E3%83%A0%E3%83% 95% E3% 82% A9% E3% 83% AC% E3% 82% B9% E3% 83% 88)

Comment ça fonctionne

Échantillon Bootstrap qui génère des sous-échantillons du groupe B par échantillonnage aléatoire à partir des données observées que vous souhaitez former
Créez un arbre de décision $ B $ en utilisant chaque sous-échantillon comme données d'entraînement
Créez des nœuds par la méthode suivante jusqu'à ce que le nombre spécifié de nœuds $ n_ {\ mathit {min}} $ soit atteint.
Sélectionnez au hasard $ m $ de variables explicatives pour les données d'entraînement
Déterminez la fonction de division du nœud à l'aide des variables explicatives sélectionnées qui classent le mieux les données d'entraînement et le seuil à ce moment-là.

Fonctionnalité

Fonctionne bien avec de nombreuses variables explicatives
Apprentissage et évaluation rapides
L'apprentissage des arbres de décision est totalement indépendant et peut être traité en parallèle
L'importance (contribution) des variables explicatives peut être calculée
Une évaluation comme la validation croisée est possible en calculant l'erreur Out of Bag (environ 1/3 des données d'entraînement qui ne sont pas utilisées pour l'entraînement en moyenne).
Comparé à AdaBoost, il est moins dépendant d'une variable explicative spécifique, il donne donc une sortie qui peut manquer même si la variable explicative des données de la requête est manquante.

[Boosting](http://ibisforest.org/index.php?%E3%83%96%E3%83%BC%E3%82%B9%E3%83%86%E3%82%A3 % E3% 83% B3% E3% 82% B0)

Comment ça fonctionne

Apprentissage en modifiant le poids de l'exemple de manière séquentielle
Combinez pour améliorer la précision

Méthode

AdaBoost met à jour séquentiellement les poids lors du rééchantillonnage des données d'entraînement (comprendre les différences qui se produisent dans les données entre les échantillons en répétant l'extraction des données au hasard), ce qui entraîne un apprentissage automatique. Enfin, ajoutez du poids à l'apprentissage automatique et ajoutez-les ensemble pour créer un apprenant intégré.
Apprenez plusieurs fois avec le poids sans jeter les valises
Apprenez avec un poids accru pour les cas faibles
Apprenez les hypothèses T et prenez une décision à la majorité
L'effet d'AdaBoost est remarquable pour les données sans bruit

Analyse du panier

Une autre méthode analytique pour apprendre le système de recommandation. Les données traitées par l'analyse du panier concernent uniquement les articles achetés ensemble et ne nécessitent pas d'informations telles que si vous aimez ou non l'article. (POI basé sur les éléments dans le filtrage coopératif)

Cette analyse du panier ne s'applique pas uniquement aux «paniers d'achat». Il peut être regroupé et peut être appliqué à n'importe quelle cible si vous avez besoin de recommander les éléments qu'il contient. Par exemple, recommander une page Web recommandée à l'utilisateur à partir de l'historique de navigation du navigateur.

Histoire célèbre de la bière et des couches dans l'analyse du panier

référence

Système d'apprentissage automatique pratique Apprentissage d'ensemble Une histoire sur l'étude de l'apprentissage d'ensemble (notes diverses?) Mise en œuvre d'Ada Boost par Splus [Data science by R] Apprentissage en groupe Random forest [What is out of bag error in Random Forests?] (http://stackoverflow.com/questions/18541923/what-is-out-of-bag-error-in-random-forests) 2e Comment savoir quels produits se vendent bien avec un certain produit-Concept d'analyse du panier de marché 6. Méthode d'analyse des produits (analyse ABC, analyse d'association) 2e: Analyse des associations ~ Série "Statistiques que vous souhaitez utiliser" ~ Analyse d'association