Über neuronale Netze

In erster Linie rauer Fluss

Übergeben Sie den Wert der Aktivierungsfunktion gemäß den Eingabeinformationen an den nächsten Knoten
Verbinden Sie alle empfangenen Informationen linear basierend auf dem Gewicht $ w $ und dem Bias $ b $.
Geben Sie den linear gekoppelten Wert in die Aktivierungsfunktion ein und übergeben Sie ihn an den nächsten Knoten
Wiederholen Sie die Schritte 2 und 3, um den Wert vom letzten Knoten auszugeben
Berechnen Sie die Verlustfunktion aus der endgültigen Ausgabe (obwohl PNN nur einen Knoten in der letzten Schicht hat): Die Schritte 1 bis 6 sind Vorwärtsausbreitung
Verwenden Sie als Nächstes die Verlustfunktion, um das Gewicht für jeden Zweig zu berechnen: Rückausbreitung
Die Schritte 1 bis 7 schließen eine Trainingseinheit ab. Wiederholen Sie dies danach eine bestimmte Anzahl von Malen, um einen Satz von Gewichten = neuronales Netzwerk zu erstellen, das die richtige Antwort besser beschreibt.

In Schritt 6 wird im Allgemeinen ein Gradientenabstiegsverfahren (ein Verfahren zum Aktualisieren von Gewichten unter Verwendung des Differentialkoeffizienten der Verlustfunktion) angewendet. Daher muss die Verlustfunktion eine teilbare Verteilung haben. Im Folgenden werden die Aktivierungsfunktion, die Verlustfunktion und das Gradientenabstiegsverfahren kurz beschrieben.

Informationen zur Aktivierungsfunktion

Die in der vorherigen Schicht berechneten Eingabewerte werden zunächst entsprechend jedem Gewicht und jeder Vorspannung linear kombiniert. Wenn Sie sie dann als Argumente für die Aktivierungsfunktion verwenden, übergeben Sie den Ausgabewert der Aktivierungsfunktion an die nächste Ebene ... und so weiter ist maschinelles Lernen. Die wichtige Implikation der Aktivierungsfunktion ist also nicht die Form der Formel ("Warum exponentiell, warum fraktional xxx ..." ist ein bedeutungsloses Argument), sondern welcher Wert und wie viel Bereich Es ist wichtig, über auszugeben. Die beiden diesmal verwendeten Arten von Aktivierungsfunktionen sind zusammengefasst.

relu (Rampenfunktion)

Wenn x 0 oder mehr ist, hat es eine direkte proportionale Form. Da die Sigmoidfunktion und der Gradient mit zunehmendem Abstand vom Ursprung verschwinden (der Differentialkoeffizient nähert sich 0), besteht das Problem, dass das Lernen stagniert, sobald die Einheit einen großen Wert hat. Es ist bekannt, dass die Rampenfunktion das Problem des Verschwindens des Gradienten empirisch löst.

f(x) = x~~(x>0)

Sigmoid (Sigmoidfunktion)

Der Ausgabewert der Funktion liegt zwischen 0 und 1.

f(x) = \frac{1}{1-e^x}

Verlustfunktion (= Fehlerfunktion)

Bewerten Sie die $ n $ -Dimensionsausgabe eines neuronalen Netzwerks mithilfe einer Verlustfunktion. Je kleiner die Differenz ist, desto kleiner ist konzeptionell der Wert der Verlustfunktion im Vergleich zum korrekten $ n $ -Dimensionswert. Daher hat ein gutes neuronales Netzwerk einen kleinen Ausgabewert der Verlustfunktion.

binary_crossentropy -Verwendet für die Klassifizierung von 2 Klassen (häufig für hohe Energie wie 0 oder 1, Hintergrundereignis oder Signalereignis verwendet)

E(w) = -\sum_n^{N} \left( d_n\log y_n + (1-d_n)\log(1-y_n) \right)

Gradientenmethode

Das Aktualisieren des Gewichts mithilfe der Verlustfunktion ist der Schlüssel zum neuronalen Netzwerk. Hier wird ein allgemeines SDG beschrieben. SDG berechnet anhand des Differentialkoeffizienten der Verlustfunktion das Gewicht, das für das nächste Training verwendet werden soll. Für die zu diesem Zeitpunkt verwendeten Parameter

$ \ eta $: Lernkoeffizient, Lernrate, Lernrate
$ \ Alpha $: Momentum
$ h $: Lernzerfallsrate

w^{t+1} = w^{t} - \eta\frac{1}{\sqrt{h}}\frac{\partial E(w^{t})}{\partial w^{t}} + \alpha\Delta w

Berechnen Sie nach der obigen Formel. Hier als Überblick Wissen über die Gradientenmethode

Wenn der Lernkoeffizient zu groß ist, unterscheiden sich die Gewichtswerte stark zwischen $ t $ und $ t + 1 $, was die Konvergenz des Trainings erschwert.
Wenn der Lernkoeffizient zu klein ist, ist der Grad der Gewichtsaktualisierung gering und das Lernen dauert einige Zeit.
Durch die Einführung der Dämpfungsrate wird auch der Lernkoeffizient entsprechend dem Training aktualisiert.

Kann erwähnt werden.

Lernmethode

Im Allgemeinen wird die Lernmethode des neuronalen Netzwerks unter Berücksichtigung des "Mini-Batch-Lernens" erläutert. Hier wird erklärt, zu welchem Zeitpunkt die Verlustfunktion zum Aktualisieren des Parameters verwendet wird (= Gewicht aktualisieren = Modell aktualisieren).

--Online lernen

Eine Methode, um das Modell jedes Mal basierend auf der aus den Eingabeinformationen berechneten Verlustfunktion zu aktualisieren.
Wenn Sie beispielsweise 1000 Bilder haben, werden 1000 Parameter aktualisiert.
Batch-Lernen
Eine Methode zum Aktualisieren des Modells in Batch-Einheiten (= alle Daten gleichzeitig).
Wenn Sie beispielsweise 1000 Bilder haben, wird ein Parameter aktualisiert. Die zu diesem Zeitpunkt verwendete Verlustfunktion ist der Durchschnitt der Verlustfunktionen jedes der 1000 Bilder.

L=\frac{1}{N}\sum_{i=1}^{N} l_i

--Mini Batch Learning

Eine Methode zum Aufteilen aller Daten in Mini-Batch und Aktualisieren des Modells für jeden Mini-Batch-Prozess
Für jede Verarbeitung der Anzahl der im Mini-Batch enthaltenen Daten (= Batch-Größe) wird die Verlustfunktion gemittelt und berechnet und das Modell aktualisiert. Anschließend wird gemäß dem aktualisierten Modell das Training für den nächsten Mini-Batch gestartet.
Nehmen wir zum Beispiel an, Sie haben 1000 Bilder und möchten diese in 100 Stapelgrößen unterteilen. Zu diesem Zeitpunkt gibt es 10 Teilmengen, sodass 10 Parameter aktualisiert werden.

Wie oben erwähnt, ist die Mini-Batch-Lernmethode im Allgemeinen weit verbreitet. In der Phase, in der im vorherigen Beispiel 10 Teilmengen verarbeitet werden, wird 1 Epoche gezählt.

PNN BDT wird häufig mit hoher Energie eingesetzt. Es ist stark in kleinen Statistiken, und da es sich im Grunde genommen um ein DT handelt, gibt es viele Vorteile, z. B. zu vermeiden, so weit wie möglich zu einer Black Box zu werden. Da DNN bereits zur Partikelidentifizierung verwendet wurde, haben wir uns entschieden, ein neuronales Netz zu verwenden, um das S / N-Verhältnis in Form von "Verwendung und Verlust" wie in ProfileLL zu verbessern. Das 2016 vorgeschlagene Modell ist Parametrised Neural Network (PNN), das unter Verwendung einer allgemeinen Python-Bibliothek erstellt wird. Die diesmal verwendete Bibliothek ist

uproot
Das im Hochenergiebereich verwendete ROOT-Format wird in einen Datenrahmen mit Python geändert. --sklearn (scikit-learn)
Python-Bibliothek für maschinelles Lernen
keras
Eine Bibliothek neuronaler Netze, die auf TensorFlow ausgeführt wird

ROOT-Datei lesen (energiereiche Verarbeitung vor der Stufe)

uproot CERN-Bibliothek Ein Python-Modul zum Lesen von Daten im ROOT-Format. Nur das Ändern von ROOT Ntuple in Python DataFrame ändert nichts an der Struktur. Zeilen entsprechen Ereignissen und Spalten entsprechen jeder Variablen.

import uproot
f = uproot.open("data.root")
print(f.keys())
# ['data;1', 'background;1", ....]

f['data'].pandas.df()
#        Btag  EventFlavour  EventNumber  FourBodyMass  Jet0CorrTLV  ...  mass  mass_scaled           sT      sTNoMet  signal    weight  weight_scaled
#entry                                                               ...                                                                              
#9        2.0           8.0     560044.0   1666.098145   542.301636  ...  900     0.352941  #1566.298340  1404.298218       1  0.003898       0.028524
#10       1.0           5.0     560480.0   1606.993896   241.007111  ...  900     0.352941  #1841.925049  1434.105713       1  0.004255       0.031135
#11       2.0           0.0     561592.0   1857.901245   721.780457  ...  900     0.352941  #2444.058105  1910.263306       1  0.002577       0.018855
#15       2.0           5.0     561088.0   1348.327515   174.501556  ...  900     0.352941  #1328.051147  1029.908447       1  0.003360       0.024585

f['data'].pandas.df('EventNumber')
#        EventNumber
#entry              
#0      2.148751e+08
#1      2.143515e+08
#2      6.018242e+07
#3      2.868989e+07
...

Das Obige ist der Datenrahmen unmittelbar nach dem Lesen und erstellt einen Datenrahmen, der nur die erforderlichen Informationswerte (zu verwendende Eingabeinformationen) von hier aufnimmt. Das Verfahren zum Schneiden des im nächsten Schritt verwendeten Datenrahmens wird kurz beschrieben. Der ursprüngliche Datenrahmen, der von entwurzelt gelesen wird, hat am Ende "mass_scaled", also schneiden Sie ihn mit "X [:,: -1]". Dies ist eine Slicing-Methode, die bedeutet, dass "alle Zeilen und Spalten vom Anfang bis zur letzten sind". Basierend auf dem oben Gesagten werden wir vom nächsten zum Kern übergehen.

from sklearn.utils import shuffle --Wenn Sie Test- / Trainingsdaten aufteilen, wie Sie sie zufällig sortieren und dann aufteilen
Wenn Sie nichts tun, werden die Daten von Anfang an in der Reihenfolge aufgeteilt.

Aktueller Trainingsprozess

Vorverarbeitung (Skalenumwandlung)

Es ist notwendig, den Maßstab (= Anzahl der Stellen) der zu verarbeitenden Daten auszurichten. Die dort verwendete Methode ist sclearn, und dieses Mal verwenden wir "RobustSclaer", das gegen Ausreißer resistent ist. Wenn es überhaupt einen Ausreißer gibt, wird der Durchschnitt / die Streuung der Merkmalsmenge stark vom Ausreißer beeinflusst, sodass die Standardisierung nicht gut funktioniert. Stellen wir uns vor, es wird in Informationen nachgedruckt, die für die Maschine einfach zu handhaben sind, wobei die Art der Daten erhalten bleibt.

StandardScaler --Standardisieren Sie die Verteilung von Daten
RobustScaler ――Der diesmal verwendete Prozess ist dieser --Mit fit_transform fit (Mittelwert und Varianz von Array X berechnen) und transformieren () und das Array speichern (X)

Erstelltes NN-Modell

--keras.layers: Definiert die Eigenschaften von Ebenen - Input - Dense

Vollständig gekoppelte neuronale Netzwerkschicht. Alle Perzeptrone (Knoten) sind mit der nächsten Schicht von Perzeptronen verbunden
Die NN-Ebene, die üblicherweise in Lochbildern gezeichnet wird
keras.model --Keras hat zwei Möglichkeiten, Modelle zu definieren (unter Python)
Sequenzmodell und funktionales API-Modell

Tatsächliche Codierung

Definieren Sie zunächst die Anzahl der Dimensionen der Eingabeinformationen mit Eingabe
Definieren Sie für jede Schicht Dichte (vollständig verbundenes neuronales Netzwerk). Die zu diesem Zeitpunkt verwendete Aktivierungsfunktion ist definiert.
Da die verborgene Schicht unverändert an die nächste Schicht ausgegeben wird, handelt es sich um eine 32-dimensionale Ausgabe (diesmal wird das neuronale Netzwerk durch die 32-dimensionale 3-Schicht von [32,32,32] definiert). Und die letzte Schicht ist ein Knoten und gibt [0,1] aus.
Die Aktivierungsfunktion der verborgenen Schicht ist "relu" und die Aktivierungsfunktion der letzten Schicht ist "sigmoid".

x = Input(shape=(n_input_vars,))
d = x 
for n in self.layer_size:
    d = Dense(n, activation=self.activation)(d)

y = Dense(1, activation="sigmoid")(d)
Model(x, y)

Gradientenmethode verwendet

Die diesmal verwendete Gradientenmethode ist eine sehr orthodoxe SGD (Stochastic Gradient Descent: Stochastic Gradient Descent Method). Jedes Gewicht wird mit der Verlustfunktion $ E (w) $ in der folgenden Formel aktualisiert.

w^{t+1} ← w^{t} - \eta \frac{\partial E(w^{t})}{\partial w^{t}} + \alpha \Delta w^{t}

Hier repräsentiert $ \ eta $ die Lernrate (Lernkoeffizient) und $ \ alpha $ den Impuls.

sgd = SGD(lr=self.learning_rate, momentum=self.momentum, nesterov=self.nesterov, decay=self.learning_rate_decay)

Training mit Keras

compile Unter Verwendung des bisher beschriebenen Wissens (mit mehr Hintergrundwissen) werden die folgenden Schritte unternommen, um ein neuronales Netzwerk in Keras zu trainieren. Zuerst müssen Sie das Modell "kompilieren"

model.compile(...)

fit Nach dem Kompilieren ist fit = das eigentliche Training.

batch_size
Die Anzahl der in jeder Teilmenge enthaltenen Daten wird als Stapelgröße bezeichnet. --ex) Durch Teilen der Daten von 10000 Ereignissen durch die Stapelgröße 10 wird eine Teilmenge von 1000 erstellt.
verbose --0: Keine Ausgabe ―― 1: Mit Fortschrittsbalken ―― 2: Kein Fortschrittsbalken
callbacks
Übergeben Sie die Liste der Funktionen, die Sie am Ende der Epoche aufrufen möchten. Beispiel: Ihre eigene Funktion, die bestimmte Informationen für jede Epoche usw. druckt.

Apropos

PNN ist dadurch gekennzeichnet, dass theoretische Parameter getrennt von den verwendeten mechanischen Eingabeinformationen als Eingabeinformationen verwendet werden. Es gibt korrekte theoretische Parameter bei der Simulation von Signalereignissen, aber was ist mit den theoretischen Parametern von Hintergrundereignissen? Wenn beispielsweise der Massenparameter als Eingabeinformation verwendet wird, wird beim Training eines Hintergrundereignisses ein Zufallswert ausgewählt und trainiert.

Referenz-URL

Ich habe stark auf die folgenden Seiten verwiesen. Vielen Dank.

https://aizine.ai/preprocessing0614/
https://qiita.com/tokkuman/items/1944c00415d129ca0ee9
https://note.nkmk.me/python-tensorflow-keras-basics/
https://products.sint.co.jp/aisia/blog/vol1-4
https://qiita.com/kenta1984/items/bad75a37d552510e4682

[PYTHON] Parametrisches neuronales Netzwerk