Dieser Artikel ist eine leicht verständliche Ausgabe von ** Deep Learning von Grund auf neu. Kapitel 7 Lerntechniken **. Ich konnte es selbst verstehen, also hoffe ich, dass Sie es bequem lesen können. Ich würde mich auch sehr freuen, wenn Sie sich beim Studium dieses Buches darauf beziehen könnten.
Bisher verwendete der Anfangswert des Gewichts des neuronalen Netzwerks die Zufallsmethode, um eine Zufallszahl zu erzeugen, aber dies würde den Erfolg des Lernens erweitern.
Der Anfangswert des Gewichts und das Training des neuronalen Netzwerks sind sehr eng miteinander verbunden, und wenn der Anfangswert angemessen ist, ist das Lernergebnis gut, und wenn der Anfangswert unangemessen ist, ist das Lernergebnis schlecht.
Daher möchte ich dieses Mal eine Methode zum Festlegen eines geeigneten Anfangsgewichtswerts in einem neuronalen Netzwerk mithilfe der Relu-Funktion implementieren.
Der Anfangswert des Gewichts, der für das neuronale Netzwerk unter Verwendung der Relu-Funktion am besten geeignet ist, ist der Anfangswert von He.
scale = np.sqrt(2.0 / all_size_list[idx - 1])
self.params['W' + str(idx)] = scale * np.random.randn(all_size_list[idx-1], all_size_list[idx])
Der Anfangswert von He kann erzeugt werden, indem die Wurzel der Anzahl der Knoten in der vorherigen Schicht mit 2 ÷ berechnet und mit der durch Zufall erhaltenen Zufallszahl multipliziert wird.
Recommended Posts