f(E[x]) \ge E[f(x)]

Wird die Jensen-Ungleichung genannt. Dieser Beweis wurde bereits an verschiedenen Stellen erläutert (z. B. hier), sodass er hier weggelassen wird. Ich werde.

Um diese Ungleichung $ f (E [x]) \ ge E [f (x)] $ intuitiv zu verstehen, stellen wir ein Beispiel mit Zufallszahlen grafisch dar.

Nehmen wir zunächst an, dass x eine stochastische Variable ist, die einer Normalverteilung folgt, und erstellen Sie eine daraus generierte Zufallszahl. Konvertieren Sie dieses x auch mit einer nach oben konvexen Funktion von $ f (x) = -x ^ 2 + 10 $. Das Histogramm oben in der Grafik unten ist die Verteilung von x, die der Normalverteilung folgt, und das Histogramm rechts ist die Verteilung, der $ x ^ 2 $ folgt. Mit anderen Worten, Jensens Ungleichung ist ** grüner als der ** rote Kreis ** unten (nachdem der erwartete Wert genommen wurde, dh der Durchschnitt des obigen Histogramms genommen und dann mit $ f (x) $ konvertiert wurde). Es zeigt, dass es größer als der Kreis ** ist (konvertiert mit $ f (x) $ und nimmt dann den erwarteten Wert, dh den Durchschnittswert des Histogramms rechts).

Unten sehen Sie eine Animation der Normalverteilung, bei der es sich um die Verteilung von x handelt, wobei der Mittelwert verschoben ist. In jedem Fall können Sie sehen, dass der grüne Kreis unter dem roten Kreis liegt.

Was ist gut an dieser Ungleichheit? ?? ??

Jensens Ungleichung

f(E[x]) \ge E[f(x)]

Möchte $ f (E [x]) $ maximieren, aber wenn unklar ist, was diese Funktion ist, $ E [f (x)] $, wenn sie berechnet werden kann. Da E [f (x)] $ als Untergrenze von $ f (E [x]) $ behandelt werden kann, wird durch Maximieren des berechenbaren $ E [f (x)] $ das ursprüngliche Ziel $ Es ist möglich, f (E [x]) $ zu maximieren.

Oft wird verwendet, weil $ \ log (\ cdot) $ eine nach oben konvexe Funktion ist

log \int p(x)f(x)dx \ge \int p(x) log f(x)dx

Wie $ \ log (\ cdot) $ wird in die Integration eingefügt, damit es berechnet werden kann.

Es ist etwas verwirrend, aber hier ist die Animation für $ \ log (\ cdot) $. Wenn Sie sich das Histogramm auf der rechten Seite ansehen, ist es nach unten verzerrt, sodass Sie spüren können, dass sich der Durchschnittswert nach unten verschiebt. Es ist ersichtlich, dass der grüne Kreis um diesen Betrag unter dem roten Kreis liegt.

Referenz

1.8 Probabilistische Variablenungleichheit 1 http://mcm-www.jwu.ac.jp/~konno/pdf/statg-1-8r.pdf

Python-Code, der das in diesem Artikel verwendete Diagramm beschreibt https://github.com/matsuken92/Qiita_Contents/blob/master/General/Jensens-inequality.ipynb