[PYTHON] Présentation d'Udacity Deep Learning Nanodegree

tldr J'ai reçu le Nanodegree of Deep Learning de Udacity. Tensorflow est difficile. Il est difficile de régler Hyper Parameter. Mais j'ai beaucoup appris.

Qu'est-ce que Udacity Nanodegree

Udacity est un soi-disant MOOC (Massive Open Online Course) où vous pouvez apprendre la programmation et la conception sous forme de cours en ligne. Udacity lui-même est gratuit, mais il propose un mini-diplôme payant (Nanodegree) qui combine plusieurs cours, et certains cours ne peuvent être vus que là-bas.

Il existe d'autres cours en ligne tels que Lynda.com et Code School, mais vous devez soumettre des devoirs en plus de regarder la vidéo, et vous ne réussirez que si vous répondez aux normes requises. La différence avec le même type de Coursera est que Coursera ressemble plus à une conférence universitaire, tandis qu'Udacity ressemble plus à une formation en entreprise.

Qu'est-ce que le Deep Learning Nanodegree?

Deep Learning Nanodegree est un nouveau Nanodegree qui a débuté en 2017.

Nous sommes spécialisés dans l'apprentissage en profondeur, et si vous réussissez, vous serez admis à la conduite automatique et à l'intelligence artificielle Nanodegree. Selon article Techcrunch, seulement 16% et 4,5% des admissions sont initialement accordées. Cela en vaut la peine car on dit que oui, mais dans le cours de conduite automatique, si vous insistez pour que vous puissiez faire Python par vous-même en tant que diplômé en mécanique, vous avez réussi normalement, donc si vous êtes diplômé en ingénierie, vous pourrez peut-être aller directement au cours que vous recherchez ne pas.

Notez que Deep Learnig Nanodegree n'a pas d'apprentissage automatique non profond comme SVM et Decision Tree dans le cours de conduite automatique. Au contraire, c'est le seul système RNN (du moins pour autant que je l'ai confirmé jusqu'à la limite 1). S'il s'agit de Machine Learning Engineer Nanodegree, les deux seront-ils inclus?

Siraj ne me dit pas grand chose

Au fait, dans ce cours, lorsque vous ouvrez la page Udacity, Siraj de Youtuber vous le dira en grand.

Cependant, quand je l'ai essayé, j'ai trouvé que l'instructeur principal était M. Mat à côté de moi. Il y a quelques parties d'explication préliminaires avant le projet de la mission, mais l'instructeur là-bas est aussi M. Mat. Pour le moment, le cours Siraj et le cours Mat sont disposés en alternance, mais comme la partie Siraj est une réimpression indépendante de Youtube, j'ai eu l'impression qu'il était en charge de l'introduction pour abaisser le seuil.

Dans la partie GAN, Ian Goodfelow, l'auteur de l'article GAN, expliquera GAN lui-même. C'est incroyable.

Le framework est Tensorflow

Maintenant, la conférence proprement dite implique un travail sur le Jupyter Notebook en plus des vidéos d'explication et des textes sur le Web. Tout le code est [publié] sur Github (https://github.com/udacity/deep-learning) et le devoir est de soumettre un Jupyter Notebook rempli.

En raison de la nature du Deep Learning, le GPU est nécessaire, vous pouvez donc obtenir un niveau gratuit pour AWS et Floyd Hub, mais pour la commodité d'exécuter Jupyter Notebook en tant que serveur, tout le monde peut le voir sans restrictions IP, il est donc sûr d'avoir une machine GPU à portée de main. peut être.

Étant donné que le framework est Tensorflow, il est souvent nécessaire de l'implémenter à une couche inférieure à Chainer et Keras. On peut dire que la puissance est augmentée, mais il faut s'engager dans un délai raisonnable. Il y a des canaux et des forums Slack, mais même si vous suivez le calendrier, vous êtes dit être dans le top 20% à la fin du projet 4, donc le taux de frustration peut être élevé.

Contenu de la conférence proprement dite

Voici les contenus que vous pouvez réellement apprendre.

Neural Networks Instructions d'utilisation d'Anaconda et Jupyter Notebook. Le défi est de construire un réseau neuronal et d'utiliser numpy pour implémenter un réseau neuronal basé sur la fonction sigmoïde.
Convolutional Networks Explication de l'analyse des sentiments et TF Learn, implémentation de la méthode de propagation des erreurs, explication de CNN Le défi est la classification des images. Il existe également une description de Dopout.
Recurrent Neural Networks RNN, Word2vec, hyperparamètres, TensorBoard, initialisation, apprentissage par transfert, seq2seq, apprentissage par renforcement (il suffit de toucher). Le défi est la génération de conversations Simpsons et la traduction automatique.

Personnellement, la partie la plus intéressante était la partie initialisation. Il n'était pas bon de comparer la précision finale en raison de la différence de plage ([0,1] ou [-1,1]) et de la différence de distribution (uniforme, truncated_normal).

Generative Adversarial Networks Explication de GAN et DCGAN, apprentissage avec semi-enseignant. Le défi est de générer une image de visage. C'était facile à comprendre car il y avait une explication des parties qui sont faciles à faire des erreurs de mise en œuvre. Cependant, même avec cela, le réglage ne se passe pas bien et le GAN est difficile.

Tout au long de

Au cours de la conférence, Tensorflow 1.0 et Keras 2.0 ont été annoncés. Même dans la seconde moitié de la conférence, l'exemple de version était Tensorflow 1.0 et la réponse a été très rapide.

Étant donné que le domaine de l'apprentissage automatique évolue rapidement, les informations ont tendance à être obsolètes dans les livres papier. Le vrai plaisir du cours en ligne est qu'il peut être mis à jour en continu, donc j'ai senti qu'il était bien adapté.