f(E[x]) \ge E[f(x)]

S'appelle l'inégalité de Jensen. Cette preuve a déjà été expliquée à divers endroits (par exemple, ici), elle est donc omise ici. Je vais.

Afin de comprendre intuitivement cette inégalité $ f (E [x]) \ ge E [f (x)] $, représentons graphiquement un exemple utilisant des nombres aléatoires.

Tout d'abord, supposons que x est une variable stochastique qui suit une distribution normale, et créons un nombre aléatoire généré à partir de celle-ci. De plus, convertissez ce x avec une fonction convexe vers le haut de $ f (x) = -x ^ 2 + 10 $. L'histogramme en haut du graphique ci-dessous est la distribution de x qui suit la distribution normale, et l'histogramme de droite est la distribution que $ x ^ 2 $ suit. En d'autres termes, l'inégalité de Jensen est ** plus verte que le ** cercle rouge ** ci-dessous (après avoir pris la valeur attendue, c'est-à-dire en prenant la moyenne de l'histogramme ci-dessus, puis en la convertissant avec $ f (x) $). Il montre qu'il est plus grand que le cercle ** (converti avec $ f (x) $ et prend ensuite la valeur attendue, c'est-à-dire la valeur moyenne de l'histogramme de droite).

Ci-dessous, une animation de la distribution normale, qui est la distribution de x, avec la moyenne décalée. Dans chaque cas, vous pouvez voir que le cercle vert est en dessous du cercle rouge.

Qu'y a-t-il de bien dans cette inégalité? ?? ??

L'inégalité de Jensen

f(E[x]) \ge E[f(x)]

Veut maximiser $ f (E [x]) $, mais quand on ne sait pas ce qu'est cette fonction, $ E [f (x)] $ si elle peut être calculée. Puisque E [f (x)] $ peut être traité comme la limite inférieure de $ f (E [x]) $, en maximisant le calculable $ E [f (x)] $, la cible originale $ Il est possible de maximiser f (E [x]) $.

Souvent utilisé parce que $ \ log (\ cdot) $ est une fonction convexe vers le haut

log \int p(x)f(x)dx \ge \int p(x) log f(x)dx

Comme, $ \ log (\ cdot) $ est mis dans l'intégration pour pouvoir être calculé.

C'est un peu déroutant, mais voici l'animation pour $ \ log (\ cdot) $. Si vous regardez l'histogramme sur le côté droit, il est déformé vers le bas, vous pouvez donc sentir que la valeur moyenne se déplace vers le bas. On peut voir que le cercle vert est sous le cercle rouge de ce montant.

référence

1.8 Inégalité des variables probabilistes 1 http://mcm-www.jwu.ac.jp/~konno/pdf/statg-1-8r.pdf

Code Python qui décrit le graphique utilisé dans cet article https://github.com/matsuken92/Qiita_Contents/blob/master/General/Jensens-inequality.ipynb