[PYTHON] Warum die Aktivierungsfunktion eine nichtlineare Funktion sein muss

Einführung

Im neuronalen Netzwerk wird eine nichtlineare Funktion als Aktivierungsfunktion verwendet, aber ich werde erklären, "warum es keine lineare Funktion ist".

Was ist eine lineare Funktion?

Eine Funktion, deren Ausgabe ein konstantes Vielfaches ihrer Eingabe ist, dh eine Geradenfunktion.

So was.

Was ist eine nichtlineare Funktion?

Es ist eine Funktion von nichtlinearen, ruckartigen und krummen Linien.

So was.

In einem neuronalen Netzwerk müssen Sie eine nichtlineare Funktion für die Aktivierungsfunktion verwenden. Wenn Sie eine lineare Funktion verwenden, ist die Ausgabe ein konstantes Vielfaches (gerade Linie) der Eingabe. Dies macht es bedeutungslos, die Ebene zu vertiefen.

Warum?

Betrachten Sie ein Beispiel. Beispiel) Ein dreischichtiges Netzwerk mit der linearen Funktion $ h (x) = ax $ als Aktivierungsfunktion

Die Ausgabe $ y $ ist $ y (x) = h (h (h (x))) $, was ein einmaliges $ y (x) = kx $ ist (aber $ k = a ^ 3 $) Es kann durch Multiplikation ausgedrückt werden. Mit anderen Worten, es kann durch ein Netzwerk ohne versteckte Schichten ausgedrückt werden. Es macht keinen Sinn, es mehrschichtig zu machen.

Deshalb verwenden neuronale Netze nichtlineare, nichtlineare Funktionen.

abschließend

Dieser Artikel wird empfohlen. Die Zerlegung von "Komplexität" in viele "einfache" Vorwärtsausbreitung ist eine Wiederholung von "linearer Funktion" und "einfacher Nichtlinearität"