[Python] Deep Learning: Ich habe versucht, Deep Learning (DBN, SDA) ohne Verwendung einer Bibliothek zu implementieren.
Zweck dieses Eintrags
Dieses Mal möchte ich *** Deep Learning vorstellen, das implementiert wurde, ohne die *** Bibliothek zum Lernen zu verwenden. Die Sprache ist Python.
Es gibt jedoch Bücher, auf die ich mich bezog. In diesem Eintrag werde ich das Buch vorstellen und den in Python neu implementierten Code basierend auf dem im Buch beschriebenen Java-Code erläutern.
Hintergrund
Ich denke nicht, dass die Tatsache, dass tiefes Lernen als Funke für den jüngsten KI-Boom Aufmerksamkeit erregt, nicht so viel ist, wie ich hier erwähnen werde. Angesichts der Tatsache, dass in letzter Zeit eine große Anzahl solcher Bücher veröffentlicht wurde, ist leicht zu erkennen, wie viel Aufmerksamkeit sie erhalten haben.
Allerdings ist nicht jeder auf der Welt auf KI spezialisiert, und vielmehr sind solche Leute wirklich auf einige Gruppen beschränkt. Viele Leute
Ich arbeite momentan nicht direkt am Deep Learning, aber ich kann es nicht ignorieren, wenn man bedenkt, dass AI in naher Zukunft als Infrastruktur eingeführt wird.
Ich denke du hast das Gefühl. Deshalb denken viele Leute, dass sie vorerst lernen sollten, und ich bin einer von ihnen.
Als ich das Buch aufnahm, hatte ich das Gefühl, dass es tendenziell in die folgenden Typen polarisiert ist (es ist eine Tendenz und es ist mehr als genug, dass ich ein gutes Buch vermisse). ..
- Ein Typ, bei dem Sie sich mit vielen Formeln frustriert fühlen ――Nach Erläuterung der Gliederung wird der Typ, der mit der Verwendung der Bibliothek endet, unverdaulich
Ich zögerte unnötig, die Bibliothek zu benutzen, ohne den Inhalt überhaupt zu kennen, und fragte mich, ob es ein Buch geben würde, das etwas weiter ging - ich schaute es mir eine Weile an (um es nicht selbst zu implementieren). Vernachlässige orz Nein, ich bin nicht auf tiefes Lernen für mich selbst spezialisiert ^^;).
Begegnung mit guten Büchern
Dann kam ein Buch mit genau dem richtigen Gefühl heraus, also sprang ich hinein und las alles auf einmal. Dies war ein großer Erfolg.
- [Nestkäfig, Deep Learning Java-Programmiertheorie und Implementierung von Deep Learning, Impress, 2016. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F484438128F2% affi-271202-22)
[
](https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+ BWGDT & a8ejpredirect = https% 3A% 2F% 2Fwww.amazon.co.jp% 2Fdp% 2F4844381288% 2F% 3Ftag% 3Da8-affi-271202-22)
Das Konzept, es mit einem einfachen, aber supereinfachen Modell zu implementieren, passt zu meiner Vorstellung, dass dies für das Verständnis am nützlichsten ist! Beweisen Sie analytisch und beenden Sie hoch! Stattdessen halte ich es für erwähnenswert, dass die Erklärung so ist, dass die Unterschiede in den Eigenschaften zwischen den Methoden sinnlich erfasst werden können.
Nachdem ich dies gelesen hatte, wollte ich wissen, wo es einen Sprung in der mathematischen Erweiterung und einen etwas tieferen Teil gibt. Als ich die folgenden Standardbücher las, bekam ich einen erfrischenden Kopf.
- [Okaya, Deep Learning, Kodansha, 2015. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F406152902%2%F affi-271202-22)
[
](https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+ BWGDT & a8ejpredirect = https% 3A% 2F% 2Fwww.amazon.co.jp% 2Fdp% 2F4061529021% 2F% 3Ftag% 3Da8-affi-271202-22)
[
](https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+ BWGDT & a8ejpredirect = https% 3A% 2F% 2Fwww.amazon.co.jp% 2Fdp% 2F476490487X% 2F% 3Ftag% 3Da8-affi-271202-22)
Also, [Nest, Deep Learning Java-Programmiertheorie und Implementierung von Deep Learning, Impress, 2016. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F484438128F2% affi-271202-22) reicht nicht aus, um nur die Bibliothek zu benutzen, aber ich denke, dass es ein Buch ist, das für Anfänger geeignet ist, um es für diejenigen zu lesen, die eine hohe Hürde haben, plötzlich in ein Fachbuch einzusteigen.
Wenn Sie sich auf Convolutional Neural Networks (CNN) spezialisiert haben, sind die folgenden Bücher bei weitem die besten. Obwohl es auf CNN spezialisiert ist, trägt es definitiv zum Verständnis dieser Implementierung bei.
- [Saito, Deep Learning aus der Scratch-Theorie und Implementierung von Deep Learning aus Python, O'Reilly Japan, 2016. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F48731175852% affi-271202-22)
[
](https://px.a8.net/svt/ejp?a8mat=2NZCQW + 6MQUCY + 249K + BWGDT & a8ejpredirect = https% 3A% 2F% 2Fwww.amazon.co.jp% 2Fdp% 2F4873117585% 2F% 3Ftag% 3Da8-affi-271202-22)
[Deep Learning Java-Programmiertheorie und Implementierung von Deep Learning](https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp % 2Fdp% 2F4844381288% 2F% 3Ftag% 3Da8-affi-271202-22) befasst sich auch mit CNN, so dass Sie es natürlich auch hier erheblich verstehen können. Ich denke, dieses Buch ist insofern ausgezeichnet, als es typische Methoden aus der Vogelperspektive in kurzer Zeit vergleicht.
Deep Learning von Grund auf neu erklärte genau die Grundlagen der Grundlagen neuronaler Netze und war in der Zwischenzeit mit CNN verbunden! Der Eindruck ist, dass es wie eine Geschichte aufgebaut ist.
Migration zu Python
[Java-Programmiertheorie für tiefes Lernen und Implementierung von tiefem Lernen](https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp Ich konnte den in% 2Fdp% 2F4844381288% 2F% 3Ftag% 3Da8-affi-271202-22) beschriebenen Java-Beispielcode ausführen, aber ich dachte, es wäre langweilig, ihn nur auszuführen. Also habe ich mich dieses Mal entschlossen, selbst zu Python zu wechseln.
Ziele sind *** Deep Belief Nets (DBN) *** und *** Stacked Denoising Autoencoder (SDA) ***,
Das Tolle ist der Autor, Mr. Negago, und ich fahre nur kostenlos. Ich dachte jedoch, dass es eine ziemlich verrückte Handlung wäre, sich nur ohne nachzudenken zu bewegen, also machte ich die folgenden Regeln.
- ** Kein Kopieren ***
- Ich fand es sinnlos, den Java-Code zu kopieren, einzufügen und neu zu schreiben, damit er mit Python übereinstimmt.
- Ich wollte jedoch den von mir implementierten Python-Code nicht kopieren und ändern.
- ** Variablennamen ändern ***
- Grundsätzlich ist es verboten, denselben Variablennamen wie Java-Code zu verwenden. Wenn Sie denselben Variablennamen verwenden, handelt es sich möglicherweise nur um eine Kopie. Daher habe ich es gewagt, einen Modifikator hinzuzufügen.
- Es hat auch den Vorteil, dass Sie die Bedeutung von Variablen auf einen Blick verstehen können. ―― *** Bibliothek nicht benutzen ***
- Ich habe nicht einmal Numpy verwendet, geschweige denn Standardbibliotheken wie Chainer und TensorFlow.
- Wenn Sie die Matrix zerlegen und auf Elementebene erweitern und überlegen, was jeder Begriff bedeutet, finden Sie möglicherweise verschiedene Dinge.
- Es gibt auch den Punkt, dass es einfach ist, einfach zu migrieren.
- *** Fügen Sie die Formelnummer in das Buch in den Berechnungsabschnitt ein *** (Eingeschränkter Boltzmann-Maschinenabschnitt, nur Auto-Encoder-Abschnitt)
- Der Zweck ist zu überprüfen, welche Formel Sie jetzt implementieren.
- Es ist auch von Vorteil, dass die Korrespondenz im späteren Rückblick leicht zu verstehen ist.
Ich habe nur gesagt, dass es eine etwas strenge Kopie des Sutra ist.
Einführung in Python-Code
Code-Speicherort
Der Code wird unten veröffentlicht.
- GitHub-Repository
Ausführungsmethode
Die Ausführungsmethode für jeden Algorithmus ist wie folgt.
- Deep Belief Nets
cd <cloned path>/DeepLearningWithPython/DeepNeuralNetworks
python DeepBeliefNets.py
- Stacked Denoising Autoencoders
cd <cloned path>/DeepLearningWithPython/DeepNeuralNetworks
python StackedDenoisingAutoencoders.py
Für die Softwarekonfiguration [Deep Learning Java-Programmiertheorie und Implementierung von Deep Learning](https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww. Amazon.co.jp% 2Fdp% 2F4844381288% 2F% 3Ftag% 3Da8-affi-271202-22), beziehen Sie sich daher bitte darauf.
Ergebnis
Die folgenden drei Arten von Ergebnissen werden ausgegeben.
-------------------------------
DBN(or SDA) Regression model evaluation
-------------------------------
Accuracy: 100.0 %
Precision:
class 1: 100.0 %
class 2: 100.0 %
class 3: 100.0 %
Recall:
class 1: 100.0 %
class 2: 100.0 %
class 3: 100.0 %
Die Bedeutung jedes Ergebnisses ist wie folgt.
- Genauigkeit (korrekte Antwortrate): Richtige Antwortrate in allen Daten
- Präzision: Richtige Antwortrate in den als "positiv" vorhergesagten Daten
- Rückruf: Prozentsatz der Daten, deren richtige Antwort "positiv" ist und die als "positiv" vorhergesagt werden können
Es wird durch eine mathematische Formel wie folgt ausgedrückt.
Accuracy = \frac{TP + TN}{TP + TN + FP + FN} \\
Precision = \frac{TP}{TP + FP} \\
Recall = \frac{TP}{TP + FN}
Die Aufteilung von TP, TN, FP und FN ist in der folgenden Tabelle dargestellt.
| Positiv und vorhergesagt | Negativ und vorhergesagt | |
|---|---|---|
| Richtig ist richtig | True Positive (TP) | False Negative (FN) |
| Negativ ist richtig | False Positive (FP) | True Negative (TN) |
Überblick über die Verarbeitung
Netzwerkmodell
Das verwendete Netzwerkmodell ist für beide DBN / SDA gleich.
- Eingangsschichtneuronen: 60
- 3 Klassentestdaten werden verwendet. Fügen Sie Rauschen hinzu und geben Sie verschiedene Eingabedaten an.
- Die Datenstruktur der einzelnen Klassen finden Sie in der folgenden Abbildung.
- Verstecktes Neuron der Schicht 1: 20
- Versteckte Schicht-2-Neuronen: 20
- Die Aktivierungsfunktion ist die Sigmoid-Funktion.
- Ausgangsschichtneuronen: 3
- Dies ist eine Ebene zur Klassenidentifikation. Es verwendet logistische Regression.
Lernfluss
Für beide DBN / SDA lernen Sie Folgendes.
--Vortraining
- Lernen Sie für jede Ebene.
- Verwenden Sie eingeschränkte Boltzmann-Maschinen (RBM) für DBN und Entrauschungs-Autoencoder (DA) für SDA.
- Die Ausgabeschicht wird nicht gelernt.
--Feintuning
- Parameter vor dem Training werden als Anfangswerte verwendet, und das Lernen (Fehlerrückausbreitungsverfahren) wird unter Verwendung eines gewöhnlichen mehrschichtigen neuronalen Netzes durchgeführt.
- Verwenden Sie einen anderen Lehrerdatensatz als vor dem Training. (Um Überlernen zu vermeiden)
Grober Unterschied zwischen DBN / SDA
Beide Methoden verwenden genau das gleiche Modell, und die auf die gleiche Weise erstellten Testdaten können ordnungsgemäß gelernt werden. Was ist der Unterschied, wenn Sie mit verschiedenen Methoden fast die gleichen Ergebnisse erzielen? Ich mache mir darüber Sorgen.
Gemeinsamer Punkt
Es kann gesagt werden, dass der gemeinsame Punkt beider Verfahren darin besteht, Parameter zu erhalten, die mit den Eingabe- / Ausgabedaten des zweischichtigen Netzwerks übereinstimmen. Im Fall von DBN werden aufgrund der Eigenschaften des Boltzmann-Maschinennetzwerks *** Eingabedaten *** und *** Zustand *** verglichen, aber wenn Sie Ihre Augen vor den Details schließen, sind sie im Wesentlichen gleich. Ich mache das.
Durch die Verwendung von Daten mit verschiedenen Geräuschen, die in der Lernphase hinzugefügt wurden, ist es außerdem üblich, dass sie bei der Identifizierung in der Produktion gegen Rauschen beständig sind. Es kann interpretiert werden, dass es einen Unterschied in der Art und Weise gibt, wie das Rauschen gegeben wird.
Unterschied
Im Fall von DBN wird wahrscheinlich bestimmt, ob das Neuron aktiviert ist oder nicht. Obwohl sie sich im selben Zustand befinden, können sie aktiviert sein oder nicht. Diese Eigenschaft entspricht dem automatischen Hinzufügen von Rauschen zu den trainierten Parametern. Der Algorithmus fügt ohne Erlaubnis Rauschen hinzu.
Andererseits wird im Fall von SDA etwas Rauschen zu den Trainingsdaten hinzugefügt und dann in das Lerngerät eingegeben. Dies liegt daran, dass der Algorithmus nicht die Eigenschaft hat, sich selbst Rauschen hinzuzufügen, da er deterministisch abläuft.
Unter diesen Gesichtspunkten kann verstanden werden, dass es die folgenden Unterschiede in den Merkmalen gibt.
- DBN
- Da der Algorithmus ohne Erlaubnis Rauschen hinzufügt, muss der Benutzer die Eingabedaten nicht verarbeiten und kann sie relativ einfach verwenden.
- Die Implementierung ist etwas schwierig, da die Wahrscheinlichkeit jedes Mal berechnet werden muss, wenn die Aktivierungsfunktion ausgegeben wird.
- SDA
- Das Lernen selbst ist ein gewöhnliches neuronales Netzwerk-Framework, daher ist es einfach zu implementieren.
- Das Hinzufügen von Rauschen zu den Trainingsdaten ist auf der Benutzerseite erforderlich. ――Jedoch, wenn Sie dem Geräusch, das Sie geben möchten, eine Tendenz geben möchten, kann gesagt werden, dass es einen gewissen Freiheitsgrad gibt.
Es scheint immer noch verschiedene Ansichten zu der Frage zu geben, wie sich diese Merkmale auf das Lernen auswirken und warum die Initialisierung auf diese Weise für tiefes Netzwerklernen funktioniert. Mein Verstand ist noch nicht organisiert, also werde ich es hier nicht sagen lol ^^;
Selbst wenn es ein Beispielprogramm gab, das als Referenz verwendet werden konnte, indem ich meine eigenen Hände bewegte und es implementierte, bekam ich ein wenig Verständnis für Deep Learning. Wenn die hier veröffentlichten Informationen für irgendjemanden von Nutzen sind, würde ich mich sehr freuen. Ich habe noch keine Aussetzer oder CNN-Implementierung durchgeführt, aber ich plane, sie erneut zu implementieren, wenn ich Lust dazu habe ^^ Referenzen- [Verschachtelung, Deep Learning Java-Programmiertheorie und Implementierung von Deep Learning, Impress, 2016. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F484438128F2% affi-271202-22) - [Okaya, Deep Learning, Kodansha, 2015. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F406152902%2%F affi-271202-22)
- [Aso et al., Deep Learning, Modern Science Company, betreut von der Society of Artificial Intelligence, Kamishima ed., 2015. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F476490487F%2F3 affi-271202-22)
- [Saito, Deep Learning aus der Scratch-Theorie und Implementierung von Deep Learning aus Python, O'Reilly Japan, 2016. ](Https://px.a8.net/svt/ejp?a8mat=2NZCQW+6MQUCY+249K+BWGDT&a8ejpredirect=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F48731175852% affi-271202-22)
Recommended Posts