Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer Chapitre 13 Formation sur les réseaux neuronaux ~ Chainer terminé

What Cet article résume ce que j'ai remarqué et ce que j'ai recherché lors de l'apprentissage de l'apprentissage automatique avec Chainer. Cette fois, nous étudierons la formation des réseaux de neurones.

Il est rédigé d'après ma compréhension, il se peut donc qu'il soit incorrect. Je corrigerai toutes les erreurs, veuillez me pardonner.

Content

Formation sur les réseaux neuronaux

Pour faire simple, améliorez la précision du modèle et rendez-le plus intelligent pour l'utilisateur.

Fonction objective

Si nous creusons plus profondément dans le réseau de neurones, nous optimiserons la fonction objectif. Les deux fonctions objectifs typiques suivantes sont présentées.

• ** Erreur quadratique moyenne ** souvent utilisée dans les problèmes de régression
• ** Entropie croisée ** souvent utilisée dans les problèmes de classification

Alors que l'erreur quadratique moyenne est une méthode pour trouver la solution optimale pour les paramètres du modèle, une solution peut être trouvée à la fois. Je comprends que la méthode pour prédire que c'est plus probable est l'entropie croisée.

Optimisation de la fonction objective

Méthode de descente de gradient: comme son nom l'indique, une méthode de mise à jour des paramètres à partir du gradient Méthode d'apprentissage par mini-lots: dérivation de chaque fonction objectif en combinant plusieurs ensembles de données. Et comment mettre à jour les paramètres en prenant la valeur moyenne de la fonction objectif (je ne suis pas sûr)

Fonction d'activation

Si la valeur du gradient de la fonction d'activation est petite, les paramètres de chaque couche seront également petits. C'est ce qu'on appelle la disparition du gradient. Y a-t-il une restriction sur la fonction d'activation? (Ne diverge pas, converge ...) Puisqu'elle est sortie sous forme de probabilité, devrait-elle être égale ou inférieure à 1? ?? ?? La fonction ReLU y est introduite, mais qui et comment l'avez-vous trouvée ...? Je le mettrai à jour quand je connais les détails.

Je me demande si l'apprentissage profond est devenu possible en résolvant le problème de la disparition des gradients

Comment Pour le moment, j'ai eu un aperçu de l'apprentissage automatique. Ensuite, je voudrais faire un programme concret.

C'est pourquoi j'ai acheté ce livre. Pour être honnête, je ne savais pas quoi acheter car j'étais trop inexpérimenté, mais quand j'ai regardé l'index du tableau, ** Parce qu'il utilise la bibliothèque apprise dans Chainer, il convient aux batailles réelles ** ** Présentation de la création d'applications Web, ce qui peut aider à rendre le programme accessible au public ** J'ai donc décidé de l'acheter.

Alors étudie ce livre ** ÉTAPE 1 Bataille réelle de l'apprentissage automatique STEP.2 Master Pyhton au niveau de la version de l'application **

Je ferai de mon mieux pour atteindre le prochain objectif.