y_1 = w_{1, 1}x_1 + w_{2, 1}x_2 + b_1 \\
y_2 = w_{1, 2}x_1 + w_{2, 2}x_2 + b_2

Ich denke, das selbst ist offensichtlich, wenn man sich die Figur ansieht. Lassen Sie uns dies in einer Matrixdarstellung ausdrücken.

\left(
  \begin{array}{c}
    y_1 \\
    y_2
  \end{array}
\right)
=
\left(
  \begin{array}{cc}
    w_{1, 1} & w_{2, 1} \\
    w_{1, 2} & w_{2, 2}
  \end{array}
\right)
\left(
  \begin{array}{c}
    x_1 \\
    x_2
  \end{array}
\right)
+
\left(
  \begin{array}{c}
    b_1 \\
    b_2
  \end{array}
\right)

Ich fühle mich so. Wenn Sie das Matrixprodukt verstehen, werden Sie feststellen, dass es ein äquivalenter Ausdruck ist. Achten Sie übrigens bei $ w_ {i, j} $ auf die Indizes. Normalerweise liest du Indizes wie ** $ i $ row $ j $ column **, oder? In der obigen Formel sieht es jedoch so aus, als ob ** $ j $ Zeile $ i $ Spalte **. So wie es ist, ist es schwierig, sowohl theoretisch als auch praktisch damit umzugehen. Lassen Sie es uns also verschieben.

\left(
  \begin{array}{c}
    y_1 \\
    y_2
  \end{array}
\right)
=
\left(
  \begin{array}{cc}
    w_{1, 1} & w_{1, 2} \\
    w_{2, 1} & w_{2, 2}
  \end{array}
\right)^{\top}
\left(
  \begin{array}{c}
    x_1 \\
    x_2
  \end{array}
\right)
+
\left(
  \begin{array}{c}
    b_1 \\
    b_2
  \end{array}
\right) \\
\Leftrightarrow
\boldsymbol{Y} = \boldsymbol{W}^{\top}\boldsymbol{X} + \boldsymbol{B}

Umzug wird auch in [hier] erwähnt (# Umzug). Damit ist der mathematische Ausdruck des Ebenenobjekts vorerst mit 2 Eingängen und 2 Ausgängen abgeschlossen. Es ist einfach. Verallgemeinern wir das. Das ändert sich nicht. Mathematisch

\boldsymbol{Y} = \boldsymbol{W}^{\top}\boldsymbol{X} + \boldsymbol{B}

Bleibt. Schauen wir uns das genauer an. Betrachtet man die $ M $ Eingabe $ N $ Ausgabeebene

\underbrace{\boldsymbol{Y}}_{N \times 1} = \underbrace{\boldsymbol{W}^{\top}}_{N \times M}\underbrace{\boldsymbol{X}}_{M \times 1} + \underbrace{\boldsymbol{B}}_{N \times 1}

Es sieht aus wie. $ \ Boldsymbol {W} ^ {\ top} $ zeigt die Form nach der Translokation. Vor der Übertragung ist es $ \ underbrace {\ boldsymbol {W}} _ {M \ times N} $. Das ist alles für die Theorie. Fahren wir nun mit der Implementierung fort.

Implementierung der Vorwärtsausbreitung in einer Matrix

Der Implementierungsspeicherort ist [baselayer.py](https://qiita.com/kuroitu/items/884c62c48c2daa3def08#layer Modulcodevorbereitung) wie bei der skalaren Implementierung. Schreiben Sie die Implementierung in Skalar um.

    def forward(self):
        """
Implementierung der Vorwärtsausbreitung
        """
        #Erinnern Sie sich an Ihre Eingabe
        self.x = x.copy()

        #Vorwärtsausbreitung
        y = self.w.T @ x + self.b
        self.y = self.act.forward(y)
        
        return self.y

baselayer.py

        y = self.w * x + self.b

Aber

baselayer.py

        y = self.w.T @ x + self.b

Es ist geworden. Für Numpy-Arrays kann die Translokation mit "ndarray.T" durchgeführt werden. Einige Leute kennen den Operator "@" möglicherweise nicht, aber es ist der gleiche Vorgang wie "np.dot". ** Es kann mit Numpy Version 1.10 oder höher verwendet werden. Seien Sie also vorsichtig, wenn Sie eine niedrigere Version verwenden. ** ** **

x = np.array([1, 2])
w = np.array([[1, 0], [0, 1]])
b = np.array([1, 1])

y = w.T @ x + b
print(y)
print(y == np.dot(w.T, x) + b)

#----------
#Die Ausgabe ist
# [2 3]
# [ True  True]
#Es wird sein.

x = np.matrix([1, 2]).reshape(2, -1)
w = np.matrix([[1, 0], [0, 1]])
b = np.matrix([1, 1]).reshape(2, -1)

y = w.T @ x + b
print(y)
print(y == np.dot(w.T, x) + b)

#----------
#Die Ausgabe ist
# [[2]
#  [3]]
# [[ True]
#  [ True]]
#Es wird sein.

Implementierung der Methode __init __

Übrigens gibt es einige Elemente, die das Ebenenobjekt haben sollte. Lassen Sie uns dies implementieren. Außerdem werde ich einige Mitglieder haben.

    def __init__(self, *, prev=1, n=1, 
                 name="", wb_width=1,
                 act="ReLU",
                 **kwds):
        self.prev = prev  #Anzahl der Ausgänge der vorherigen Ebene=Anzahl der Eingaben in diese Ebene
        self.n = n        #Anzahl der Ausgänge in dieser Ebene=Anzahl der Eingaben in die nächste Ebene
        self.name = name  #Der Name dieser Ebene
        
        #Stellen Sie Gewicht und Vorspannung ein
        self.w = wb_width*np.random.randn(prev, n)
        self.b = wb_width*np.random.randn(n)
        
        #Aktivierungsfunktion(Klasse)Erhalten
        self.act = get_act(act)

Informationen zur Matrixoperation

Hier werden wir kurz Matrixoperationen vorstellen. Bitte beachten Sie, dass ich nichts mathematisch erklären werde (ich kann es nicht tun), nur weil es so berechnet wird.

Matrixsumme

Erstens ist die Matrixsumme.

\left(
  \begin{array}{cc}
    a & b \\
    c & d
 \end{array}
\right)
+
\left(
  \begin{array}{cc}
    A & B \\
    C & D
  \end{array}
\right)
=
\left(
  \begin{array}{cc}
    a + A & b + B \\
    c + C & d + D
  \end{array}
\right)

Nun, es ist ein natürliches Ergebnis. Für jedes Element hinzufügen. Ganz zu schweigen von der Addition ** Die Form der Matrix muss genau übereinstimmen. ** ** **

Matrixelementprodukt

Ich werde auch auf elementare Produkte eingehen, die in diesem Artikel überhaupt nicht erwähnt werden. Das Elementprodukt wird auch als Adamar-Produkt bezeichnet.

\left(
  \begin{array}{cc}
    a & b \\
    c & d
 \end{array}
\right)
\otimes
\left(
  \begin{array}{cc}
    A & B \\
    C & D
  \end{array}
\right)
=
\left(
  \begin{array}{cc}
    aA & bB \\
    cC & dD
  \end{array}
\right)

Das Symbol des Adamar-Produkts kann übrigens als "\ otimes" geschrieben werden. Es gibt viele andere symbolbezogene Elemente auf hier.

Matrix Produkt

Dies ist ein Matrixprodukt, kein Elementprodukt. Es ist ein großer Unterschied zum Elementprodukt, wie z. B. Formbeschränkungen und Nichtkommutierbarkeit.

\left(
  \begin{array}{cc}
    a & b \\
    c & d
 \end{array}
\right)
\left(
  \begin{array}{cc}
    A & B \\
    C & D
  \end{array}
\right)
=
\left(
  \begin{array}{cc}
    aA + bC & aB + bD \\
    cA + dC & cB + dD
  \end{array}
\right)

Als Berechnungsmethode fühlt es sich an, als würde man horizontal $ \ times $ rollen. Es ist so. Um auf diese Weise berechnen zu können, müssen die Anzahl der Elemente von ** horizontal ** </ font> und die Anzahl der Elemente von ** vertikal ** </ font> berechnet werden Muss passen. Mit anderen Worten, die ** Spalte ** </ font> der ersten Matrix und die ** Zeile ** </ font> der zweiten Matrix sind eins. Du musst es tun. Im Allgemeinen ist die resultierende Matrix des Produkts der Matrizen ** $ L \ mal M $ und $ M \ mal N $ $ L \ mal N $. ** ** **

\left(
  \begin{array}{cc}
    a & b & c \\
    d & e & f
 \end{array}
\right)^{\top}
=
\left(
  \begin{array}{cc}
    a & d \\
    b & e \\
    c & f
 \end{array}
\right)