[PYTHON] Spécialisation en apprentissage profond (Coursera) Dossier d'auto-apprentissage (C1W4)

introduction

Voici le contenu du cours 1, semaine 4 (C1W4) de Spécialisation en apprentissage profond.

(C1W4L01) Deep L-layer Neural Network

Contenu

• Description détaillée du symbole du réseau neuronal
• n^{[l]} ; #units in layer l
• a^{[l]} ; activations in layer l (x = a^{[0]}, \hat{y} = a^{[L]})
• W^{[l]}, b^{[l]} ; weights for z^{[l]}

(C1W4L02) Forward Propagation in a Deep Network

Contenu

z^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]} \\
a^{[l]} = g^{[l]}\left(z^{[l]}\right)

• Vectorisé

Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]} \\
A^{[l]} = g^{[l]}\left(Z^{[l]}\right)

(C1W4L03) Getting your matrix dimensions right

Contenu

• Afin de supprimer le bogue, vérifiez si les dimensions de la matrice sont correctes.
• W^{[l]} ; (n^{[l]}, n^{[l-1]})
• b^{[l]} ; (n^{[l]}, 1)
• dW^{[l]} ; (n^{[l]}, n^{[l-1]})
• db^{[l]} ; (n^{[l]}, 1)
• Z^{[l]} , A^{[l]} ; (n^{[l]}, m)

(C1W4L04) Why deep representation?

Contenu

• Un réseau neuronal profond peut s'exprimer de manière plus complexe avec moins d'unités qu'un réseau neuronal peu profond.

(C1W4L05) Building Blocks of a Deep Neural Network

Contenu

--Explication de la propagation avant et arrière à l'aide de schémas fonctionnels

(C1W4L06) Forward and backward propagation

Contenu

• Développez le diagramme pour expliquer l'image globale de la propagation vers l'avant et vers l'arrière
• Forward propagation
  • Input ; A^{[l-1]}
  • Output ; A^{[l]} (cache Z^{[l]})

Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]} \\
A^{[l]} = g^{[l]}\left(Z^{[l]}\right)

• Backward propagation
  • Input ; da^{[l]}
  • Output ; da^{[l-1]}, dW^{[l]}, db^{[l]}

dZ^{[l]} = dA^{[l]} \ast g^{[l]\prime}\left(Z^{[l]}\right) \\
dW^{[l]} = \frac{1}{m}dZ^{[l]}A^{[l-1]T} \\
db^{[l]} = \frac{1}{m}\textrm{np.sum}\left(dZ^{[l]}\textrm{, axis=1, keepdims=True}\right) \\
dA^{[l-1]} = W^{[l]T}dZ^{[l]}

(C1W4L07) Parameters vs Hyperparameters

Contenu

• Parameters ; W^{[1]}，b^{[1]}，… --Hyperparamètres; taux d'apprentissage $ \ alpha $, #iterations, # couche cachée $ L $, # unités cachées $ n ^ {[i]} $, sélection de la fonction d'activation --hyperparameters sont des paramètres qui contrôlent les paramètres

(C1W4L08) What does this have to do with the brain

Contenu

• À propos de la relation entre l'apprentissage profond et le cerveau —— Les neurones sont similaires à la régression logistique, mais nous n'utilisons pas cette métaphore très souvent

référence

• Dossier d'auto-apprentissage de la spécialisation en apprentissage profond (Coursera) (table des matières)