[PYTHON] DEEP PROBABILISTIC PROGRAMMING --- Bibliothek "Deep Learning + Bayes" --- Einführung von Edward

WHY

Edward

Wir werden es unter folgenden Gesichtspunkten einführen, mit Erwartungen an die Zunahme und das zukünftige Wachstum.

• Mitverfasst von Google Research --BackEnd ist Tensorflow
• Es gibt so etwas wie Caffees Model Zoo und es gibt ein Ökosystem für veröffentlichte Modelle ――Es konvergiert schneller als Deep Learning und wird wahrscheinlich zum nächsten Trend

Ich habe Deep Probabilistic Programming gelesen und werde daher einen Auszug aus diesem Inhalt vorstellen.

Welche Sache?

Einführung einer Bibliothek, die flexibler als herkömmliches Deep Learning ist und probabilistische Programmierung mit hoher Recheneffizienz ermöglicht. Das gleiche Modell kann mit verschiedenen Inferenzmaschinen verwendet werden. Da die Darstellung des Modells als Teil der Inferenz wiederverwendet werden kann, sind eine Vielzahl von Netzwerkkonfigurationen möglich. Das Backend besteht aus Tensorflow und es gibt so etwas wie Caffees Model Zoo Probability Zoo

Was ist erstaunlich im Vergleich zu früheren Forschungen?

・ Recheneffizienz ist besser als tiefes Lernen ・ Erstellen eines flexiblen Inferenzteils ・ 35-mal schneller mit logistischer Regression als Stan und PyMC3

Wo ist der Schlüssel zu Technologie und Methode?

・ Besteht aus zufälliger Wertgenerierung und Inferenz ・ Erstellt mit offener Technologie (Backend ist Tensorflow) -Der Teil, der die Konstruktion des Modells im Inferenzteil enthält, unterscheidet sich von dem herkömmlichen. ・ Bayesianisches wiederkehrendes neuronales Netzwerk mit variabler Länge

Konkretes Beispiel

Bayesian Recurrent Neural Network with Variable Length

Normal: Normalverteilung

Lernen Sie den Mittelwert und die Varianz der Normalverteilung von Gewicht und Regularisierung

GAN

Ein Netzwerk zur Erzeugung und ein Netzwerk zur Identifizierung werden konfiguriert und Datenparameter werden aus der Verteilung erzeugt. Der vorhergesagte Wert wird auch aus der Verteilung generiert

Spekulanten-Verbundwerkstoff

EM Algorithm

Wie haben Sie überprüft, ob es gültig ist?

Vergleich jeder Methode

Vergleich mit herkömmlicher Bibliothek

Geschwindigkeitsüberprüfung mit PyMC und Stan

Etwa 20-mal so viel wie Stan Etwa 40-mal so viel wie PyMC

Spec
12-core Intel i7-5930K CPU 3.5GHz NVIDIA Titan X(Maxwell) GPU

Task
generate posterior samples with Hamiltonian Monte Carlo

Data
Covertype dataset (N = 581012, D = 54; responses were binarized)

Other
100 HMC iterations, with 10 leapfrog updates per iteration and a step size of 0.5/N

35x speedup from stan 

Gibt es eine Diskussion?

Die neueste Technologie möchte traditionellere Bayes'sche Methoden einbeziehen Ich möchte es auch auf große Datenmengen anwenden können

Welches Papier soll ich als nächstes lesen?

Das folgende Dokument wird empfohlen, da Sie sehen können, wie Sie es ernsthaft verwenden. Tran, Dustin, et al. "Edward: A library for probabilistic modeling, inference, and criticism." arXiv preprint arXiv:1610.09787 (2016).

Reference

Deep Probabilistic Programming