[PYTHON] PROGRAMMATION PROFONDE PROBABILISTE --- Bibliothèque "Deep Learning + Bayes" --- Présentation d'Edward

WHY

Edward

Nous l'introduirons à partir des points de vue suivants avec des attentes de croissance et de croissance future.

--Co-rédigé par Google Research --BackEnd est Tensorflow

• Il y a quelque chose comme le zoo modèle de Caffee et il existe un écosystème pour les modèles publiés ――Il converge plus vite que l'apprentissage profond et deviendra probablement la prochaine tendance

J'ai lu Deep Probabilistic Programming, je vais donc vous présenter un extrait de ce contenu.

Quelle chose?

Présentation d'une bibliothèque plus flexible que l'apprentissage profond conventionnel et permettant une programmation probabiliste avec une efficacité de calcul élevée. Le même modèle peut être utilisé avec différentes machines d'inférence. Étant donné que la représentation du modèle peut être réutilisée dans le cadre de l'inférence, une grande variété de configurations de réseau est possible. Le backend est fait de Tensorflow et il y a quelque chose comme Caffee's Model Zoo Probability Zoo

Qu'est-ce qui est étonnant par rapport aux recherches précédentes?

・ L'efficacité informatique est meilleure que l'apprentissage en profondeur ・ Création d'une partie d'inférence flexible ・ 35 fois plus rapide avec la régression logistique que Stan et PyMC3

Où est la clé de la technologie et de la méthode?

・ Se compose de la génération et de l'inférence aléatoires ・ Créé avec une technologie ouverte (le back-end est Tensorflow) -La partie qui inclut la construction du modèle dans la partie inférence est différente de la partie conventionnelle. ・ Réseau neuronal récurrent bayésien à longueur variable

Exemple concret

Bayesian Recurrent Neural Network with Variable Length

Normal: distribution normale

Apprenez la moyenne et la variance de la distribution normale du poids et de la régularisation

GAN

Un réseau pour la génération et un réseau pour l'identification sont configurés et des paramètres de données sont générés à partir de la distribution. La valeur prédite est également générée à partir de la distribution

Complexe de devineurs

EM Algorithm

Comment avez-vous vérifié qu'il était valide?

Comparaison de chaque méthode

Comparaison avec la bibliothèque conventionnelle

Vérification de la vitesse avec PyMC et Stan

Environ 20 fois celui de Stan Environ 40 fois celui de PyMC

Spec
12-core Intel i7-5930K CPU 3.5GHz NVIDIA Titan X(Maxwell) GPU

Task
generate posterior samples with Hamiltonian Monte Carlo

Data
Covertype dataset (N = 581012, D = 54; responses were binarized)

Other
100 HMC iterations, with 10 leapfrog updates per iteration and a step size of 0.5/N

35x speedup from stan 

Y a-t-il une discussion?

La dernière technologie veut incorporer des méthodes bayésiennes plus traditionnelles Je veux pouvoir l'appliquer même à des données volumineuses

Quel article dois-je lire ensuite?

Le document suivant est recommandé car vous pouvez voir comment l'utiliser sérieusement. Tran, Dustin, et al. "Edward: A library for probabilistic modeling, inference, and criticism." arXiv preprint arXiv:1610.09787 (2016).

Reference

Deep Probabilistic Programming