Qu'est-ce que Random Forest?

Random Forest est un algorithme d'ensemble souvent utilisé dans l'apprentissage automatique. Il s'agit d'une méthode d'apprentissage d'ensemble qui améliore la précision en combinant le modèle d'apprentissage supervisé ** arbre de décision **. Comme le montre la figure ci-dessous, on l'appelle une forêt aléatoire car elle possède une structure semblable à une forêt qui combine les résultats de plusieurs arbres. L'une des caractéristiques de l'arbre de décision est qu'il est facile de surapprendre **. Les forêts aléatoires peuvent réduire les effets du surentraînement sur cet arbre décisionnel.

Algorithme de forêt aléatoire

Sélectionnez aléatoirement k entités dans un exemple de jeu de données avec m entités.
Créez un arbre de décision en utilisant les fonctionnalités k.
Répétez les étapes 1 et 2 n fois tout en changeant la combinaison des quantités de caractéristiques (ou en changeant aléatoirement le sous-ensemble utilisé ** boosttrap ample **) pour créer n arbres de décision.
Pour le problème de classification, la valeur la plus fréquente des résultats de tous les arbres de décision est sortie, et pour le problème de régression, la valeur moyenne des résultats de tous les arbres de décision est sortie comme résultat final.

Avantages et inconvénients de la forêt aléatoire

Avantages

--Peut être utilisé à la fois pour la régression et la classification.

L'effet du surapprentissage peut être réduit.
Il est peu probable que le modèle soit affecté par de légères fluctuations des données d'entrée.

Désavantages

Surapprentissage avec des données trop bruyantes. --Calcul compliqué que l'arbre de décision.
Le temps de calcul est long.

Scikit-learn Random Forest

import sklearn.ensemble
rf = sklearn.ensemble.RandomForestClassifier()
rf.fit(train_X, train_y)

Paramètres RandomForest

Paramètres-	Aperçu	option	Défaut
criterion	Critères de partage	"gini", "entropy"	"gini"
splitter	Stratégie de sélection fractionnée	"best", "random"	"best"
max_depth	La profondeur la plus profonde de l'arbre	int	None
min_samples_split	Taille minimale de l'échantillon du nœud post-fractionné(S'il est petit, il a tendance à être surappris.)	int(Le nombre d'échantillons)/float(Rapport à tous les échantillons)	2
min_samples_leaf	feuille(Dernier nœud)Taille minimale de l'échantillon requise pour(S'il est petit, il a tendance à être surappris.)	int/float	2
max_features	Nombre d'entités utilisées pour la division(Plus grand a tendance à surapprendre)	int/float, auto, log2	None
class_weight	Poids de la classe	"balanced", none	none
presort	Pré-tri des données(La vitesse de calcul change en fonction de la taille des données)	bool	False
min_impurity_decrease	Limiter l'impureté et contrôler l'allongement des nœuds	float	0.
boostrap	Utiliser ou non un sous-ensemble d'échantillons lors de la création d'un arbre de décision	bool	1
oob_score	Utiliser ou non des échantillons non utilisés dans le bootstrap pour l'évaluation de l'exactitude	bool	False
n_jobs	S'il faut paralléliser le processeur avec prédire et ajuster(-1)Utiliser tout à la fois	0,1,-1	0
random_state	Graine utilisée lors de la génération de nombres aléatoires	int	none
verbose	Verbalisation des résultats	1/0	0

[PYTHON] [Apprentissage automatique] Essayez d'étudier une forêt aléatoire