[PYTHON] Einführung in Udacity Deep Learning Nanodegree

tldr Ich habe den Nanodegree of Deep Learning von Udacity erhalten. Tensorflow ist schwer. Es ist schwer, Hyper Parameter einzustellen. Aber ich habe viel gelernt.

Was ist Udacity Nanodegree?

Udacity ist ein sogenannter MOOC (Massive Open Online Course), in dem Sie Programmieren und Entwerfen als Online-Kurs lernen können. Udacity selbst ist kostenlos, bietet jedoch einen kostenpflichtigen Mini-Abschluss (Nanodegree) an, der mehrere Kurse kombiniert. Einige Kurse sind nur dort zu sehen.

Es gibt andere Online-Kurse wie Lynda.com und Code School. Sie müssen jedoch zusätzlich zum Ansehen des Videos Aufgaben einreichen. Sie bestehen diese nur, wenn Sie die erforderlichen Standards erfüllen. Der Unterschied zur ähnlichen Form von Coursera besteht darin, dass Coursera eher einer Universitätsvorlesung ähnelt, während Udacity eher einer Unternehmensschulung ähnelt.

Was ist Deep Learning Nanodegree?

Deep Learning Nanodegree ist ein neuer Nanodegree, der 2017 gestartet wurde.

Wir sind auf tiefes Lernen spezialisiert. Wenn Sie erfolgreich abschließen, werden Sie zum automatischen Fahren und zum Nanodegrad für künstliche Intelligenz zugelassen. Laut Techcrunch-Artikel wird die Zulassung ursprünglich nur zu 16% bzw. 4,5% gewährt. Es lohnt sich, weil es so heißt, aber wenn Sie im automatischen Fahrkurs darauf bestehen, dass Sie Python als Maschinenbau-Absolvent selbst machen können, haben Sie normal bestanden. Wenn Sie also Ingenieur-Absolvent sind, können Sie möglicherweise direkt zu dem Kurs gehen, den Sie suchen nicht.

Beachten Sie, dass Deep Learnig Nanodegree kein nicht tiefes maschinelles Lernen wie SVM und Decision Tree bietet, die in automatisierten Fahrkursen zu finden sind. Im Gegenteil, dies ist das einzige RNN-System (zumindest soweit ich dies bis Term 1 bestätigt habe). Wenn es sich um Machine Learning Engineer Nanodegree handelt, werden beide enthalten sein?

Siraj sagt mir nicht so viel

Übrigens, wenn Sie in diesem Kurs die Udacity-Seite öffnen, wird Siraj von Youtuber Sie in großem Umfang unterrichten.

Als ich es jedoch tatsächlich versuchte, stellte ich fest, dass der Hauptlehrer Herr Mat neben mir war. Vor dem Projekt des Auftrags gibt es einige vorläufige Erklärungsteile, aber der Ausbilder dort ist auch Herr Basic Mat. Derzeit sind der Siraj-Kurs und der Mat-Kurs abwechselnd angeordnet, aber da der Siraj-Teil ein unabhängiger Nachdruck von Youtube ist, hatte ich den Eindruck, dass er für die Einführung verantwortlich war, um die Schwelle zu senken.

Im GAN-Teil wird Ian Goodfelow, der Autor des GAN-Papiers, GAN selbst erklären. Es ist wunderbar.

Das Framework ist Tensorflow

Die eigentliche Vorlesung beinhaltet nun neben den Erklärungsvideos und Texten im Web auch die Arbeit am Jupyter-Notizbuch. Der gesamte Code wird auf Github (https://github.com/udacity/deep-learning) [veröffentlicht] und die Aufgabe besteht darin, ein ausgefülltes Jupyter-Notizbuch einzureichen.

Aufgrund der Natur von Deep Learning ist eine GPU erforderlich, sodass Sie eine kostenlose Stufe für AWS und Floyd Hub erhalten können. Um Jupyter Notebook jedoch als Server ausführen zu können, kann jeder Benutzer dies ohne IP-Einschränkungen sehen, sodass es sicher ist, einen GPU-Computer zur Hand zu haben. vielleicht.

Da das Framework Tensorflow ist, muss es häufig auf einer niedrigeren Ebene als Chainer und Keras implementiert werden. Es kann gesagt werden, dass es Ihnen so viel Kraft geben wird, aber Sie müssen eine angemessene Menge Zeit investieren. Es gibt Slack-Kanäle und Foren, aber selbst wenn Sie den Zeitplan einhalten, sollen Sie am Ende von Projekt 4 unter den Top 20% sein, sodass die Frustrationsrate möglicherweise hoch ist.

Inhalt der eigentlichen Vorlesung

Unten finden Sie die Inhalte, die Sie tatsächlich lernen können.

1. Neural Networks Anweisungen zur Verwendung von Anaconda und Jupyter Notebook. Die Herausforderung besteht darin, ein neuronales Netzwerk aufzubauen und mit numpy ein auf Sigmoidfunktionen basierendes neuronales Netzwerk zu implementieren.

2. Convolutional Networks Erklärung der Stimmungsanalyse und des TF-Lernens, Implementierung der Fehlerrückausbreitungsmethode, Erklärung von CNN. Die Herausforderung ist die Bildklassifizierung. Es gibt auch eine Beschreibung von Dopout.

3. Recurrent Neural Networks RNN, Word2vec, Hyperparameter, TensorBoard, Initialisierung, Transferlernen, seq2seq, Verstärkungslernen (einfach berühren). Die Herausforderung ist Simpsons Konversationsgenerierung und maschinelle Übersetzung.

Persönlich war der interessanteste Teil der Initialisierungsteil. Es war ein Fehler, die endgültige Genauigkeit aufgrund des Unterschieds im Bereich ([0,1] oder [-1,1]) und des Unterschieds in der Verteilung (gleichmäßig, abgeschnitten_normal) zu vergleichen.

4. Generative Adversarial Networks Erklärung von GAN und DCGAN, Lernen mit einem Semi-Lehrer. Die Herausforderung besteht darin, ein Gesichtsbild zu erzeugen. Es war leicht zu verstehen, da es eine Erklärung der Teile gab, die leicht Fehler bei der Implementierung machen können. Trotzdem läuft die Abstimmung nicht gut und GAN ist schwierig.

Während

Während der Vorlesung wurden Tensorflow 1.0 und Keras 2.0 angekündigt. Selbst in der zweiten Hälfte der Vorlesung war die Beispielversion Tensorflow 1.0 und die Antwort war sehr schnell.

Da sich das Gebiet des maschinellen Lernens rasant weiterentwickelt, sind Informationen in Papierbüchern in der Regel veraltet. Der wahre Nervenkitzel des Online-Kurses besteht darin, dass er kontinuierlich aktualisiert werden kann, sodass ich der Meinung war, dass er gut zu mir passt.