[PYTHON] Deep Learning Specialization (Coursera) Selbststudienprotokoll (C1W4)

Einführung

Dies ist der Inhalt von Kurs 1, Woche 4 (C1W4) von Deep Learning Specialization.

(C1W4L01) Deep L-layer Neural Network

Inhalt

• Tiefe Beschreibung des neuronalen Netzwerksymbols
• n^{[l]} ; #units in layer l
• a^{[l]} ; activations in layer l (x = a^{[0]}, \hat{y} = a^{[L]})
• W^{[l]}, b^{[l]} ; weights for z^{[l]}

(C1W4L02) Forward Propagation in a Deep Network

Inhalt

z^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]} \\
a^{[l]} = g^{[l]}\left(z^{[l]}\right)

--Vektorisiert

Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]} \\
A^{[l]} = g^{[l]}\left(Z^{[l]}\right)

(C1W4L03) Getting your matrix dimensions right

Inhalt

• Um den Fehler zu beheben, überprüfen Sie, ob die Abmessungen der Matrix korrekt sind.
• W^{[l]} ; (n^{[l]}, n^{[l-1]})
• b^{[l]} ; (n^{[l]}, 1)
• dW^{[l]} ; (n^{[l]}, n^{[l-1]})
• db^{[l]} ; (n^{[l]}, 1)
• Z^{[l]} , A^{[l]} ; (n^{[l]}, m)

(C1W4L04) Why deep representation?

Inhalt

• Ein tiefes neuronales Netzwerk kann mit weniger Einheiten komplexer ausgedrückt werden als ein flaches neuronales Netzwerk.

(C1W4L05) Building Blocks of a Deep Neural Network

Inhalt

• Erläuterung der Vorwärts- und Rückwärtsausbreitung anhand von Blockdiagrammen

(C1W4L06) Forward and backward propagation

Inhalt

• Erweitern Sie das Blockdiagramm, um das Gesamtbild der Vorwärts- und Rückwärtsausbreitung zu erläutern
• Forward propagation
  • Input ; A^{[l-1]}
  • Output ; A^{[l]} (cache Z^{[l]})

Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]} \\
A^{[l]} = g^{[l]}\left(Z^{[l]}\right)

• Backward propagation
  • Input ; da^{[l]}
  • Output ; da^{[l-1]}, dW^{[l]}, db^{[l]}

dZ^{[l]} = dA^{[l]} \ast g^{[l]\prime}\left(Z^{[l]}\right) \\
dW^{[l]} = \frac{1}{m}dZ^{[l]}A^{[l-1]T} \\
db^{[l]} = \frac{1}{m}\textrm{np.sum}\left(dZ^{[l]}\textrm{, axis=1, keepdims=True}\right) \\
dA^{[l-1]} = W^{[l]T}dZ^{[l]}

(C1W4L07) Parameters vs Hyperparameters

Inhalt

• Parameters ; W^{[1]}，b^{[1]}，… --Hyperparameter; Lernrate $ \ alpha $, #iterations, #hidden layer $ L $, #hidden unit $ n ^ {[i]} $, Auswahl der Aktivierungsfunktion --hyperparameters sind Parameter, die Parameter steuern

(C1W4L08) What does this have to do with the brain

Inhalt

• Über die Beziehung zwischen tiefem Lernen und dem Gehirn
• Neuronen ähneln der logistischen Regression, aber wir verwenden diese Metapher nicht sehr oft

Referenz

• Deep Learning Specialization (Coursera) Selbststudienprotokoll (Inhaltsverzeichnis)