[PYTHON] [Français] scikit-learn 0.18 Guide de l'utilisateur 1.13 Sélection des fonctionnalités

google traduit http://scikit-learn.org/0.18/modules/feature_selection.html [scikit-learn 0.18 Guide de l'utilisateur 1. Apprentissage supervisé](http://qiita.com/nazoking@github/items/267f2371757516f8c168#1-%E6%95%99%E5%B8%AB%E4%BB%98 À partir de% E3% 81% 8D% E5% AD% A6% E7% BF% 92)

1.13. Sélection de la quantité d'éléments

sklearn.feature_selection L'utilisation de classes de module peut améliorer le score de précision de l'estimateur ou est très élevé. Il peut être utilisé pour la sélection d'entités / la réduction de dimension dans des ensembles d'échantillons afin d'améliorer les performances des ensembles de données dimensionnelles.

1.13.1. Suppression des éléments à faible dispersion

VarianceThreshold est une approche de base simple de la sélection des fonctionnalités. Supprime toutes les entités dont la variance n'atteint pas un certain seuil. Par défaut, toutes les fonctionnalités distribuées zéro, c'est-à-dire les fonctionnalités avec la même valeur dans tous les exemples, sont supprimées. Par exemple, supposons que vous ayez un jeu de données avec des entités booléennes et que vous souhaitiez supprimer toutes les entités 1 ou zéro (activées ou désactivées) dans 80% ou plus de l'échantillon. La fonction booléenne est la variable stochastique de Bernoulli, et la variance d'une telle variable

\mathrm {Var} [X] = p（1-p）

Par conséquent, vous pouvez sélectionner en utilisant le seuil «.8 * (1-.8)».

>>>
>>> sklearn.feature_Importer à partir de la sélection VarianceThreshold
>>> X = [[0,0,1]、[0,1,0]、[1,0,0]、[0,1,1]、[0,1,0]、[0,1 、1]]
>>> sel =Seuil de variance=（.8 *（1~8）））
>>> sel.fit_transform（X）
Tableau ([[0、1]、
       [1、0]、
       [0、0]、
       [1,1]
       [1、0]、
       [1,1]））

Comme prévu, le VarianceThreshold a supprimé la première colonne. Cette colonne a une probabilité d'inclure zéro $ p = 5/6> 0,8 $.

1.13.2. Sélection d'une fonction de fonction univariée

La sélection de fonction univariée fonctionne en choisissant la meilleure fonction sur la base d'un test statistique univarié. Cela peut être considéré comme une étape de prétraitement pour l'estimateur. Scikit-learn expose les routines de sélection de fonctionnalités en tant qu'objets qui implémentent des méthodes de transformation.

• SelectKBest fait tout sauf la fonction de score le plus élevé $ k $. Effacer
• SelectPercentile donne la fonctionnalité avec le pourcentage le plus élevé de scores spécifié par l'utilisateur. Effacer --Utilisez un test statistique univarié commun pour chaque fonctionnalité. Taux de faux positifs SelectFpr, faux taux de détection [SelectFdr](http: // scikit) -learn.org/stable/modules/generated/sklearn.feature_selection.SelectFdr.html#sklearn.feature_selection.SelectFdr) ou erreur Family Wise SelectFwe sklearn.feature_selection.SelectFwe.html # sklearn.feature_selection.SelectFwe).
• GenericUnivariateSelect vous permet de sélectionner des fonctionnalités univariées avec une stratégie configurable. Peut être exécuté. Cela permet de sélectionner la meilleure stratégie de sélection univariée à l'aide de l'estimateur de recherche par hyperparamètres.

Par exemple, vous pouvez exécuter un test $ \ chi ^ 2 $ sur un échantillon pour obtenir uniquement les deux meilleures fonctionnalités:

>>>
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectKBest
>>> from sklearn.feature_selection import chi2
>>> iris = load_iris()
>>> X, y = iris.data, iris.target
>>> X.shape
(150, 4)
>>> X_new = SelectKBest(chi2, k=2).fit_transform(X, y)
>>> X_new.shape
(150, 2)

Ces objets prennent en entrée une fonction de notation qui renvoie un score univarié et une valeur p (ou uniquement les scores SelectKBest et SelectPercentile).

--Pour la régression: f_regression, [mutual_info_regression](http: // scikit- learn.org/stable/modules/generated/sklearn.feature_selection.mutual_info_regression.html#sklearn.feature_selection.mutual_info_regression) --Pour la classification: chi2, [f_classif](http: // scikit- learn.org/stable/modules/generated/sklearn.feature_selection.f_classif.html#sklearn.feature_selection.f_classif), mutual_info_classif .html # sklearn.feature_selection.mutual_info_classif)

La méthode basée sur le test F (f_) estime la dépendance linéaire entre deux variables stochastiques. Les méthodes d'information mutuelle (mutual_info_), par contre, peuvent capturer toutes sortes de dépendances statistiques, mais elles ne sont pas paramétriques et nécessitent plus d'échantillons pour une estimation précise.

--Sélection de fonctionnalités basée sur des données rares

• Lors de l'utilisation de données clairsemées (c'est-à-dire des données représentées sous forme de matrice clairsemée), chi2, mutual_info_regression et mutual_info_classif traitent les données sans les rendre denses. --Avertissement: veillez à ne pas utiliser la fonction de score de régression dans les problèmes de classification. Le résultat est inutile. --Exemple:
• Sélection de la fonction univariée
• [Comparaison du test F et des informations mutuelles](http://scikit-learn.org/stable/auto_examples/feature_selection/plot_f_test_vs_mi.html#sphx-glr-auto-examples-feature-selection-plot-f-test-vs -mi-py)

1.13.3. Suppression des caractéristiques récursives

Suppression de caractéristiques récursives (RFE étant donné un estimateur externe qui attribue des poids aux caractéristiques (par exemple, les coefficients d'un modèle linéaire) .RFE.html # sklearn.feature_selection.RFE)) consiste à considérer de manière récursive des ensembles de fonctionnalités plus petits pour sélectionner des fonctionnalités. Tout d'abord, l'estimateur est entraîné sur l'ensemble de caractéristiques initial et des pondérations sont attribuées à chaque point caractéristique. La fonction avec le poids absolu le plus bas est ensuite supprimée de l'ensemble de caractéristiques actuel. La procédure est répétée de manière récursive pour l'ensemble élagué jusqu'à ce que le nombre final de caractéristiques à sélectionner soit atteint. RFECV exécute RFE dans une boucle de validation mutuelle et présente le nombre optimal de fonctionnalités. trouver.

--Exemple:

• Suppression des fonctionnalités rétractables: récursif Un exemple de suppression d'entités montre la pertinence des pixels dans une tâche de classification de chiffres.
• [Suppression de la validation croisée des fonctionnalités récursives](http://scikit-learn.org/stable/auto_examples/feature_selection/plot_rfe_with_cross_validation.html#sphx-glr-auto-examples-feature-selection-plot-rfe-with -cross-validation-py): un exemple de suppression de fonctionnalités récursives par réglage automatique du nombre de fonctionnalités sélectionnées par validation croisée.

1.13.4. Sélection des fonctionnalités à l'aide de SelectFromModel

SelectFromModel est un estimateur avec l'attribut coef_ ou feature_importances_ après l'ajustement. Un convertisseur méta qui peut être utilisé avec. Si la valeur correspondante de coef_ ou feature_importances_ est inférieure au paramètre de seuil spécifié, la fonctionnalité est considérée comme non significative et sera supprimée. En plus de spécifier le seuil numériquement, il dispose également d'une heuristique intégrée pour trouver le seuil à l'aide d'arguments de chaîne. Les heuristiques disponibles sont «moyenne», «médiane» et «0,1 * moyenne» de ces nombres à virgule flottante. Consultez la section ci-dessous pour des exemples d'utilisation.

--Exemple:

• [Sélection des fonctionnalités à l'aide de SelectFromModel et LassoCV](http://scikit-learn.org/stable/auto_examples/feature_selection/plot_select_from_model_boston.html#sphx-glr-auto-examples-feature-selection-plot-select-from- model-boston-py): sélectionnez les deux caractéristiques les plus importantes de l'ensemble de données Boston sans connaître le seuil à l'avance.

1.13.4.1. Sélection de fonctionnalités basée sur L1

Le Modèle linéaire pénalisé par la norme L1 a une solution clairsemée. De nombreux coefficients d'estimation sont nuls. Si votre objectif est de réduire les dimensions des données utilisées par d'autres classificateurs, alors [feature_selection.SelectFromModel](http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectFromModel.html#sklearn] Peut être utilisé avec .feature_selection.SelectFromModel) pour sélectionner des coefficients non nuls. En particulier, un déterminant clairsemé utile à cet effet est [linear_model.Lasso] pour la régression (http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Lasso.html#sklearn.linear_model. Lasso) et linear_model.LogisticRegression et [svm.LinearSVC] pour la classification (http://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html#sklearn.svm.LinearSVC).

>>>
>>> from sklearn.svm import LinearSVC
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectFromModel
>>> iris = load_iris()
>>> X, y = iris.data, iris.target
>>> X.shape
(150, 4)
>>> lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y)
>>> model = SelectFromModel(lsvc, prefit=True)
>>> X_new = model.transform(X)
>>> X_new.shape
(150, 3)

Dans SVM et régression logistique, le paramètre C contrôle la parcimonie. Dans Lasso, plus le paramètre alpha est élevé, moins il y a d'entités sélectionnées.

--Exemple:

• Classification des documents texte en utilisant des fonctionnalités éparses: Comparaison de différents algorithmes pour la classification de documents, y compris la sélection de fonctionnalités basée sur L1.

Récupération L1 et détection de compression

Pour un bon choix d'alpha, Lasso n'est pas précis avec seulement quelques observations, à condition que certaines conditions soient remplies. Vous pouvez récupérer complètement un ensemble de variables nulles. En particulier, la taille de l'échantillon doit être «suffisamment grande» ou le modèle L1 doit être exécuté de manière aléatoire. «Assez grand» dépend du nombre de coefficients non nuls, du logarithme du nombre de caractéristiques, de la quantité de bruit, de la valeur absolue minimale du coefficient non nul et de la structure de la matrice X. De plus, la matrice de conception doit afficher certaines propriétés spécifiques, comme être trop décorrélée. De plus, la matrice de conception doit présenter certaines caractéristiques, comme ne pas être trop corrélée. Il n'y a pas de règles générales pour choisir les paramètres alpha pour la récupération d'un coefficient non nul. Cela peut être réglé par validation croisée (LassoCV ou LassoLarsCV), mais cela peut conduire à un modèle sous-estimé: contenir quelques variables non pertinentes n'est pas préjudiciable au score prédit. Il n'y en a pas. Au contraire, BIC (LassoLarsIC) tend à fixer une valeur élevée de α.

--Les références --Richard G. Baraniuk "Compression Sensing", IEEE Signal Processing Magazine [120] juillet 2007 http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/baraniukCSlecture07.pdf

1.13.4.2. Modèle épars randomisé

Il existe certaines limitations bien connues du modèle de pénalités L1 pour la régression et la classification concernant la sélection des caractéristiques. Par exemple, Lasso est connu pour avoir tendance à sélectionner des variables individuelles dans un groupe d'entités hautement corrélées. De plus, les conditions dans lesquelles les pénalités L1 sélectionnent systématiquement les «bonnes» caractéristiques peuvent être généralement restrictives, même si la corrélation entre les caractéristiques n'est pas trop élevée. Pour pallier ce problème, il est possible d'utiliser des techniques de randomisation telles que celles présentées dans [B2009] et [M2010]. Cette dernière technique est appelée sélection de stabilité et est implémentée dans le module sklearn.linear_model. Dans le procédé de sélection de stabilité, des sous-échantillons de données sont ajustés à un modèle de pénalité L1 dans lequel la pénalité d'un sous-ensemble aléatoire de coefficients est mise à l'échelle. Plus précisément, étant donné un sous-échantillon des données $ (x_i, y_i), i \ in I $, où $ I \ subset \ {1, 2, \ ldots, n } $ est la taille $ n_I Un sous-ensemble aléatoire des données $, avec l'ajustement Lasso modifié suivant:

\hat{w_I} = \mathrm{arg}\min_{w} \frac{1}{2n_I} \sum_{i \in I} (y_i - x_i^T w)^2 + \alpha \sum_{j=1}^p \frac{ \vert w_j \vert}{s_j},

$ s_j \ in \ {s, 1 } $ est un essai indépendant de la variable de probabilité de Bernoulli juste, et $ 0 <s <1 $ est le facteur d'échelle. En répétant cette procédure sur différents sous-échantillons aléatoires et essais de Bernoulli, la procédure randomisée peut compter le nombre de fois que chaque caractéristique est sélectionnée et utiliser ces pourcentages comme score de sélection de caractéristique. RandomizedLasso a implémenté cette stratégie dans la configuration de régression à l'aide de Lasso, RandomizedLogisticRegression utilise la régression logistique et convient aux tâches de classification. Utilisez lasso_stability_path pour obtenir le chemin complet du score de stabilité ..

http://scikit-learn.org/stable/auto_examples/linear_model/plot_sparse_recovery.html

Pour qu'un modèle aléatoire aléatoire soit plus puissant que les statistiques F standard dans la détection d'entités non nulles, le modèle de grande vérité doit être clairsemé, en d'autres termes, seulement une petite partie d'entités non nulles. Ne devrait pas exister.

--Exemple:

• [Récupération fragmentée: sélection de fonctionnalités pour les modèles linéaires fragmentés](http://scikit-learn.org/stable/auto_examples/linear_model/plot_sparse_recovery.html#sphx-glr-auto-examples-linear-model-plot-sparse -recovery-py): un exemple de comparaison de différentes approches de sélection de fonctionnalités et de discussion dans quelles circonstances chaque approche est préférée. --Référence:
• [B2009] F. Bach, "Model Consistent Sparse Estimate by Bootstrap" https://hal.inria.fr/hal-00354771/
• [M2010] N. Meinshausen, P. Buhlmann, "Choice of Stability", Royal Statistical Society, 72 (2010) http://arxiv.org/pdf/0809.2932.pdf

1.13.4.3. Sélection d'entités basée sur l'arborescence

Vous pouvez utiliser un estimateur basé sur des arbres (voir Forêt d'arbres dans les modules sklearn.tree et sklearn.ensemble) pour calculer les charges d'entités et rejeter les entités non liées (sklearn.feature_selection.SelectFromModel). Lorsqu'il est combiné avec un méta-convertisseur)

>>>
>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectFromModel
>>> iris = load_iris()
>>> X, y = iris.data, iris.target
>>> X.shape
(150, 4)
>>> clf = ExtraTreesClassifier()
>>> clf = clf.fit(X, y)
>>> clf.feature_importances_ 
array([ 0.04..., 0.05..., 0.4..., 0.4...])
>>> model = SelectFromModel(clf, prefit=True)
>>> X_new = model.transform(X)
>>> X_new.shape 
(150, 2)

--Exemple:

• Importance de la fonction arborescente en forêt: Exemple de données synthétiques montrant la récupération d'une fonction réellement significative
• [Importance des pixels avec des forêts d'arbres parallèles](http://scikit-learn.org/stable/auto_examples/ensemble/plot_forest_importances_faces.html#sphx-glr-auto-examples-ensemble-plot-forest-importances -faces-py): Exemple de données de reconnaissance faciale

1.13.5. Choix des caractéristiques dans le cadre du pipeline

La sélection des fonctionnalités est généralement utilisée comme étape de prétraitement avant l'apprentissage proprement dit. Pour ce faire avec scikit-learn, nous vous recommandons d'utiliser sklearn.pipeline.Pipeline.

clf = Pipeline([
  ('feature_selection', SelectFromModel(LinearSVC(penalty="l1"))),
  ('classification', RandomForestClassifier())
])
clf.fit(X, y)

Dans cet extrait, sklearn.svm.LinearSVC et sklearn.feature_selection.SelectFromModel sont combinés pour évaluer l'importance des fonctionnalités et sélectionner les fonctionnalités les plus pertinentes. Le sklearn.ensemble.RandomForestClassifier est ensuite entraîné sur la sortie transformée, c'est-à-dire en utilisant uniquement les fonctionnalités pertinentes. Des opérations similaires peuvent être effectuées avec d'autres méthodes de sélection de caractéristiques et, bien sûr, avec des classificateurs qui fournissent un moyen d'évaluer l'importance des caractéristiques. Voir l'exemple sklearn.pipeline.Pipeline pour plus d'informations.

[scikit-learn 0.18 Guide de l'utilisateur 1. Apprentissage supervisé](http://qiita.com/nazoking@github/items/267f2371757516f8c168#1-%E6%95%99%E5%B8%AB%E4%BB%98 À partir de% E3% 81% 8D% E5% AD% A6% E7% BF% 92)

© 2010 --2016, développeurs scikit-learn (licence BSD)