[PYTHON] Deep Learning von Grund auf neu Kapitel 2 Perceptron (Memo lesen)
Einführung
Was ist dieser Artikel?
Es ist ein Material- und Memo-Schreiben für die Lernsitzung. Wir können die Gültigkeit des Inhalts nicht garantieren, daher empfehlen wir Ihnen, keine Zitate zu erstellen.
Referenzlink
- [Perceptron-Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%91%E3%83%BC%E3%82%BB%E3%83%97%E3%83%88% E3% 83% AD% E3% 83% B3)
- Maschinelles Lernen, das selbst Abiturienten verstehen können (2) Einfaches Perceptron | Wenn Sie in Ihrem Kopf daran denken
- Maschinelles Lernen, das selbst Abiturienten verstehen können (3) Mehrschichtiges Perceptron | Wenn Sie in Ihrem Kopf daran denken
- Beginn des 15. Klassifizierungsproblems: Beginnen wir mit dem maschinellen Lernen | gihyo.jp… Technical Review Company
- Maschinelles Lernen mit einem Ehemann-Perceptron --- Kengos Villa
2.1 Was ist Perceptron?
_2 Eingabe Perceptron (aus "Deep Learning from Zero" S.22) _
- Ein Modell, das mehrere Signale als Ein- und Ausgangssignale empfängt
- Das Signal ist ein Binärwert von 0 (nicht fließen) oder 1 (fließen)
- Jede Eingabe wird mit einem eindeutigen Gewicht $ w ^ 1, w ^ 2 ... $ multipliziert (z. B. $ w ^ 1x ^ 1 $).
- Je höher das Gewicht, desto wichtiger wird das Zielsignal.
- Ausgabe 1, wenn die Summe der Eingabewerte einen beliebigen Schwellenwert $ \ theta $ überschreitet ("Neuronen feuern")
Unter der Annahme, dass die Ausgabe $ y $ ist, können die obigen Elemente wie folgt mathematisch ausgedrückt werden.
y = \left\{
\begin{array}{ll}
0 & (w^1x^1 + w^2x^2 \leqq \theta) \\
1 & (w^1x^1 + w^2x^2 \gt \theta)
\end{array}
\right.
2.2 Einfache Logikschaltung
- Die UND / NAND / ODER-Logikschaltung kann mit Perceptron ausgedrückt werden.
- Ändern Sie das Verhalten beim Ändern von Gewichten und Schwellenwerten, ohne die Struktur von Perceptron zu ändern
2.2.1 UND Tor
_P.23 Siehe "Abb. 2-2 AND Gate Truth Table" _
- Ausgabe 1 nur, wenn die beiden Eingänge 1 sind, andernfalls Ausgang 0 --Perceptron, das ausgegeben wird, wenn die Summe zweier Eingabewerte den Schwellenwert $ \ theta $ überschreitet
2.2.2.1 NAND-Gatter
_P.24 Siehe "Abbildung 2-3 NAND Gate Truth Table" _
--NAND = Nicht AND = AND Verhalten gegenüber dem Gate
- Gibt 0 nur aus, wenn beide 1 sind, andernfalls 1
- Wenn das Vorzeichen des Parameters, der das UND-Gatter realisiert, invertiert wird, wird es zum NAND-Gatter.
2.2.2.2 ODER-Gatter
- Ausgabe 1, wenn mindestens eine Eingabe 1 ist.
2.3 Implementierung von Perceptron
2.3.1 Einfache Implementierung
Definieren und führen Sie die UND-Schaltung wie folgt aus.
def AND(x1, x2):
w1, w2, theta = 0.5, 0.5, 0.7
tmp = x1 * w1 + x2 * w2
if tmp <= theta:
return 0
elif tmp > theta:
return 1
2.3.2 Einführung von Gewichten und Vorurteilen
- Führen Sie eine Vorspannung in die UND-Schaltung von 2.3.1 ein.
- Ersetzen Sie $ \ theta $ in Gleichung 2.1 durch $ -b $, wobei der Bias $ b $ ist.
y = \left\{
\begin{array}{ll}
0 & (w^1x^1 + w^2x^2 \leqq \theta) \\
1 & (w^1x^1 + w^2x^2 \gt \theta)
\end{array}
\right.
y = \left\{
\begin{array}{ll}
0 & (b + w^1x^1 + w^2x^2 \leqq 0) \\
1 & (b + w^1x^1 + w^2x^2 \gt 0)
\end{array}
\right.
Lassen Sie uns mit dem Dolmetscher sprechen.
>>> import numpy as np
>>> x = np.array([0, 1]) #Eingang
>>> w = np.array([0.5, 0.5]) #Gewicht
>>> b = -0.7 #vorspannen
>>> w * x
>>> np.sum(w * x)
>>> np.sum(w * x) + b
2.3.3 Umsetzung nach Gewicht und Voreingenommenheit
Lassen Sie uns jede Schaltung von AND / NAND / OR basierend auf dem vorherigen Abschnitt implementieren.
- AND
def AND(x1, x2):
x = np.array([x1, x2])
w = np.array([0.5, 0.5])
b = -0.7
tmp = np.sum(w * x) + b
if tmp <= 0:
return 0
else:
return 1
- NAND
def NAND(x1, x2):
x = np.array([x1, x2])
#Nur Gewicht und Voreingenommenheit unterscheiden sich von UND
w = np.array([-0.5, -0.5])
b = 0.7
tmp = np.sum(w * x) + b
if tmp <= 0:
return 0
else:
return 1
- OR
def OR(x1, x2):
x = np.array([x1, x2])
#Nur die Vorspannung unterscheidet sich von UND
w = np.array([0.5, 0.5])
b = -0.2
tmp = np.sum(w * x) + b
if tmp <= 0:
return 0
else:
return 1
Unterschied zwischen Voreingenommenheit und Gewicht
- Gewichte $ w ^ 1, w ^ 2 ... $ steuern die Wichtigkeit des Eingangssignals --Bias passt die Leichtigkeit des Abfeuerns von Neuronen an (Wahrscheinlichkeit der Ausgabe von 1)
Der Begriff Voreingenommenheit bedeutet "es bekommen". Dies bedeutet, wie viel Sie die Ausgabe erhalten (einen Wert hinzufügen) können, wenn keine Eingabe vorhanden ist (wenn die Eingabe 0 ist). Tatsächlich gibt die Berechnung von b + w1 x1 + w2 x2 in Gleichung (2.2) nur den Vorspannungswert aus, wenn die Eingänge x1 und x2 0 sind.
(Auszug aus S.27)
2.4 Grenzen von Perceptron
- Ein einschichtiges Perzeptron kann lineare Bereiche trennen, nicht jedoch nichtlineare Bereiche wie XOR (exklusive logische Summe).
2.5 Mehrschichtiges Perceptron
--XOR kann durch "Layering" ausgedrückt werden.
- Ein Perzeptron mit mehreren Schichten wird als ** mehrschichtiges Perzeptron ** bezeichnet und als "$ n $ Schicht-Perzeptron" ausgedrückt.
2.5.1 Kombination bestehender Tore
Eine XOR-Schaltung, die 1 ausgibt, wenn einer der Eingänge 1 und der andere 0 ist, wird durch eine Kombination von vorhandenem UND / NAND / ODER dargestellt. Lassen Sie uns das Verhalten jeder Schaltung noch einmal klären.
--AND ... Ausgänge 1, wenn die beiden Eingänge 1 sind, andernfalls Ausgänge 0. --NAND ... Gibt 0 aus, wenn die beiden Eingänge 1 sind, andernfalls 1.
- Gibt 1 aus, wenn mindestens einer der beiden Eingänge 1 ist, andernfalls 0. --XOR ... Gibt 1 aus, wenn einer der beiden Eingänge 1 und der andere 0 ist, andernfalls 0.
Tatsächlich kann dies durch die folgende Verdrahtung realisiert werden: Der Anfangswert ist $ x ^ 1, x ^ 2 $, die Ausgabe von NAND ist $ s ^ 1 $ und die Ausgabe von OR ist $ s ^ 2 $.
_P.32 Abbildung 2-11_
Überprüfen Sie die Wahrheitstabelle.
_P.33 Abbildung 2-12 XOR Gate Truth Table _
2.5.2 XOR-Gate-Implementierung
Lassen Sie es uns im Code implementieren, der auf dem vorherigen Abschnitt basiert.
def XOR(x1, x2):
s1 = NAND(x1, x2)
s2 = OR(x1, x2)
y = AND(s1, s2)
return y
2.6 Vom NAND zum Computer
2.7 Zusammenfassung
--Perceptron ist ein Algorithmus mit Eingabe und Ausgabe. Bei einer bestimmten Eingabe wird ein fester Wert ausgegeben.
- In Perceptron werden "Gewicht" und "Bias" als Parameter festgelegt.
- Mit Perceptron können Sie logische Schaltkreise wie UND- und ODER-Gatter ausdrücken. Tragen.
- Das XOR-Gatter kann nicht durch ein einschichtiges Perceptron dargestellt werden.
- Das XOR-Gatter kann mit einem zweischichtigen Perzeptron dargestellt werden.
- Ein einschichtiges Perceptron kann nur einen linearen Bereich darstellen, während ein mehrschichtiges Perceptron kann einen nichtlinearen Bereich darstellen.
- Ein mehrschichtiges Perceptron kann (theoretisch) einen Computer darstellen.
Recommended Posts