[PYTHON] Jetez un œil au traitement de LightGBM Tuner
introduction
Annonce à PyData.Tokyo à la fin du mois de septembre de l'année dernière ? ref = https://pydatatokyo.connpass.com/event/141272/presentation/) Le LightGBMTuner introduit dans) a finalement été implémenté.
- [Optimisation automatique des hyperparamètres avec LightGBM Tuner, une extension d'Optuna \ | Preferred Networks Research & Development](https://tech.preferred.jp/en/blog/hyperparameter-tuning-with-optuna-integration-lightgbm-tuner /)
Non limité à LightGBM, les paramètres du modèle ne sont pas indépendants mais interagissent les uns avec les autres. Par conséquent, on peut s'attendre à une plus grande précision en réglant chaque paramètre étape par étape au moment du réglage des paramètres. Le concept est de s'accorder dans l'ordre à partir des paramètres qui ont la plus grande influence (ce qui semble l'être).
Environnement de confirmation
- Windows10
- Python 3.7
- optuna 1.0.0
Traitement du contenu
La mise en œuvre est ici
| No. | Contenu | Nom de la méthode | Le nom du paramètre | Plage de réglage | Nombre d'essais |
|---|---|---|---|---|---|
| 1 | feature_fraction(Première fois) | tune_feature_fraction() | feature_fraction | 0.4~1.0 | 7 fois |
| 2 | num leaves | tune_feature_fraction() | num leaves | 0~1(optuna.samplers.Utiliser TPESampler) | 20 fois |
| 3 | bagging | tune_bagging() | bagging_fraction, bagging_freq | 0~1(optuna.samplers.Utiliser TPESampler) | 10 fois |
| 4 | feature_fraction(Deuxième fois) | tune_feature_fraction_stage2() | feature_fraction | Première valeur optimale ± 0.Gamme 08 (0.4~1.Hors valeurs en dehors de la plage de 0) | 3~6 fois |
| 5 | regularization | tune_regularization_factors() | lambda_l1, lambda_l2 | 0~1(optuna.samplers.Utiliser TPESampler) | 20 fois |
| 6 | min data in leaf | tune_min_data_in_leaf() | min_child_samples | 5, 10, 25, 50, 100 | 5 fois |
Les points qui m'intéressaient sont les suivants.
- Quel est l'effet du réglage de feature_fraction en deux étapes?
- Est-ce que c'est feature_fraction avant que num quitte?
- Le réglage de lambda_l1 et lambda_l2 est réduit à 0 à 1 (jusqu'à présent, la valeur maximale était de 100, mais est-elle trop large?)
Si vous souhaitez modifier le contenu de réglage à votre guise, vous devez actuellement implémenter run () avec un patch monkey.
Supplément
Si vous ne comprenez pas la signification des paramètres, commencez par comprendre vos sentiments grâce au lien ci-dessous. [Sentiment de paramètres importants dans le blog de renforcement du gradient \ -nykergoto](https://nykergoto.hatenablog.jp/entry/2019/03/29/%E5%8B%BE%E9%85%8D%E3%83 % 96% E3% 83% BC% E3% 82% B9% E3% 83% 86% E3% 82% A3% E3% 83% B3% E3% 82% B0% E3% 81% A7% E5% A4% A7 % E4% BA% 8B% E3% 81% AA% E3% 83% 91% E3% 83% A9% E3% 83% A1% E3% 83% BC% E3% 82% BF% E3% 81% AE% E6 % B0% 97% E6% 8C% 81% E3% 81% A1)
Recommended Posts