Résumer la propagation de l'erreur de retour de la fonction sigmoïde
La différenciation de la fonction de degré sigmoy a une forme belle et simple.
** fonction sigmoïde: **
sigmoid(x) = \frac{1}{1+e^{-x}}
** Différenciation de la fonction sigmoïde: **
sigmoid'(x) = \frac{1}{1+e^{-x}} * ( 1 - \frac{1}{1+e^{-x}})
Par conséquent, le code de propagation de retour d'erreur de la fonction sigmoïde est également simplifié comme suit.
Class Sigmoid(object):
def __init__(self, x):
self.x = x
def forward(self):
y = 1.0 / (1.0 + np.exp(- self.x))
self.y = y
return y
def backward(self, grad_to_y):
grad_to_x = grad_to_y * self.y * (1.0 - self.y)
return grad_to_x
Recommended Posts