Beginn des Studiums: Samstag, 7. Dezember
Unterrichtsmaterialien usw.: ・ Miyuki Oshige "Details! Python3 Introductory Note ”(Sotech, 2017): 12/7 (Sa) -12/19 (Do) gelesen ・ Progate Python-Kurs (insgesamt 5 Kurse): Ende 12/19 (Donnerstag) -12/21 (Samstag) ・ Andreas C. Müller, Sarah Guido "(japanischer Titel) Maschinelles Lernen ab Python" (O'Reilly Japan, 2017): 21.12. (Sa) - 23. Dezember (Sa) ・ Kaggle: Real or Not? NLP mit Katastrophen-Tweets: Veröffentlicht am Samstag, 28. Dezember, bis Freitag, 3. Januar Einstellung ・ Wes Mckinney "(japanischer Titel) Einführung in die Datenanalyse von Python" (O'Reilly Japan, 2018): 1/4 (Mittwoch) bis 1/13 (Montag) gelesen ・ ** Yasuki Saito "Tiefes Lernen von Null" (O'Reilly Japan, 2016): 1/15 (Mi) ~ **
S.164 Kapitel 5 Lesen bis zur Fehlerrückverteilungsmethode abgeschlossen.
・ Die Fehlerrückausbreitungsmethode ist eine Methode zur effizienten Berechnung des Gradienten des Gewichtsparameters, der die Bedeutung des Elements darstellt. Die in Kapitel 4 durchgeführte Gradientenberechnung durch numerische Differenzierung ist einfach, nimmt jedoch Zeit in Anspruch, kann jedoch mit hoher Geschwindigkeit berechnet werden. (Es gibt jedoch komplizierte Teile.) In diesem Buch werden Erklärungen anhand von "Berechnungsgraphen" gegeben.
-Fortschreitung: Fährt mit der Berechnung von links nach rechts fort. Rückwärtsausbreitung: Verbessert die Berechnung von rechts nach links.
Im Berechnungsdiagramm können Sie das nächste Ergebnis ausgeben, indem Sie nur die lokale Berechnung berücksichtigen, dh den kleinen Bereich, der sich auf Sie bezieht. Lokale Berechnungen sind einfach, aber die Weitergabe der Ergebnisse liefert die Ergebnisse komplexer Berechnungen, aus denen das Ganze besteht.
Bei der Vorwärtsausbreitung wird das lokale Berechnungsergebnis von links nach rechts weitergegeben, wie im Pfeildiagramm gezeigt, während bei der Rückwärtsausbreitung das Ergebnis der "lokalen Differenzierung" von rechts nach links weitergegeben wird. Das Ergebnis dieser Berechnung wird schließlich auf das erste Element (Preis oder Menge) übertragen, und ** gibt die Größe des Einflusses des hier angezeigten Zahlenwerts auf den Endpreis ** an.
-Kettenregel: Eigenschaften synthetischer Funktionen zur Differenzierung ** "Wenn eine Funktion durch eine zusammengesetzte Funktion dargestellt wird, kann das Differential dieser zusammengesetzten Funktion durch das Produkt der Differentiale jeder der Funktionen dargestellt werden, aus denen die zusammengesetzte Funktion besteht." "**"
\frac{\partial_z}{\partial_x} = \frac{\partial_z}{\partial_t}\frac{\partial_t}{\partial_x}
Wir werden mit der Rückausbreitung der Differenzierung unter Verwendung dieses Prinzips des Kettenverhältnisses fortfahren. Alles, was Sie tun müssen, ist, es auf die gleiche Weise an der Rückseite des Eingangssignals des Knotens anzubringen. Wenn das Eingangssignal mit h und y von rechts nach links fortgesetzt wird, ist es wie folgt.
\frac{\partial_z}{\partial_t}\frac{\partial_t}{\partial_x}\frac{\partial_x}{\partial_h}\frac{\partial_h}{\partial_y}
-Addition Node: Betrachten Sie die Formel z = x + y. Da beide partiellen Differentiale Konstanten sind, sendet die Backpropagation am Additionsknoten den gleichen numerischen Wert an den nächsten Knoten (vorherigen Knoten).
· Knoten multiplizieren: Betrachten Sie die Formel z = x * y. Die partielle Differentiallösung für x ist y und die partielle Differentiallösung für y ist x Daher multipliziert die Rückausbreitung des Multiplikationsknotens das Eingangssignal mit dem ** invertierten Wert ** und sendet es an den nächsten Knoten (vorherigen Knoten). Das heißt, derjenige, in dem x fließt, wird mit y multipliziert, und derjenige, in dem y fließt, wird mit x multipliziert und zurückgegeben.
-ReLU wirkt wie ein "Schalter" in der Schaltung. Wenn der Wert die Kriterien nicht erfüllt, senden Sie beim Durchlaufen des Knotens "0" als Wert. (Das heißt, die Ausbreitung des Systems stoppt dort.)
・ Affintransformation: Berechnung des Matrizenprodukts durch Vorwärtsausbreitung eines neuronalen Netzwerks Die gewichtete Summe der Neuronen kann ausgedrückt werden als ** Y = np.dot (X, W) + B **. Bei der Weitergabe dieser gewichteten Summe wird eine affine Transformation durchgeführt.
-Gradientenprüfung: Zur Überprüfung des Ergebnisses der numerischen Differenzierung und des Ergebnisses des Gradienten, der durch die Fehlerrückausbreitungsmethode erhalten wurde. ** Subtrahieren Sie den numerischen Differenzwert vom Fehler-Backpropagation-Wert **. Bei korrekter Implementierung ist der Fehler so gering wie möglich und nahe Null.
Recommended Posts