Dies ist mein erster Beitrag. Ich werde die Punkte zusammenfassen, die mich an "Mustererkennung und maschinellem Lernen" (PRML) interessiert haben, die ich gerade lese. (Kapitel 2 2.1 (S. 66 ~))
Beginnen wir mit der Definition. Wenn die stochastische Variable $ X $ der Bernoulli-Verteilung mit dem Mittelwert $ u $ folgt
P(x=1|u)=u,P(x=0|u)=1-u
Treffen. Setze die beiden zusammen
P(x|u)=u^x (1-u)^{1-x}
Sie können auch schreiben.
Ein einfaches Beispiel ist eine Münze mit einer Wahrscheinlichkeit von $ u $ ($ x = 1 $). In den folgenden Themen werden wir Münzen als Beispiel verwenden.
Wie man den Durchschnitt von $ u $ aus einer bestimmten Stichprobe schätzt. In der wahrscheinlichsten Schätzmethode $ N $ Proben
x_1,x_2...x_n
Gegeben ist die unten definierte Wahrscheinlichkeitsfunktion $ L $
L(u) = \prod_{i=0}^n u^{x_i}(1-u)^{1-x_i}
Sei $ u_ {ML} $ die maximale Schätzung für den wahren Durchschnitt $ u $.
Lassen Sie uns $ u $ finden, das tatsächlich die Wahrscheinlichkeitsfunktion $ L $ maximiert. Um die Gleichung zu vereinfachen, nehmen wir zunächst den Logarithmus der Wahrscheinlichkeitsfunktion $ L $.
log(L(u)) = \sum_{i=0}^N x_i log(u) + (1-x_i)log(1-u)
Wenn $ u $, das $ log (L (u)) $ maximiert, $ u_ {ML} $ ist
u_{ML} = \frac{1}{N} \sum_{i=0}^N x_i
Dies ist, wenn $ x = 1 $ in $ N $ Versuchen $ m $ ist.
u_{ML} = m
Es bedeutet das
Versuchen wir die wahrscheinlichste Schätzmethode am Beispiel von Münzen. Angenommen, Sie möchten wissen, mit welcher Wahrscheinlichkeit eine Münze auf dem Tisch erscheint. Vorläufig wurden die folgenden Ergebnisse erhalten, als ich es ungefähr 10 Mal warf.
Tabelle ・ ・ ・ 3 mal
Dahinter ... 7 mal
Befolgen Sie die obige Methode, um $ u_ {ML} $ zu finden, das die Wahrscheinlichkeitsfunktion maximiert.
u_{ML} = \frac{1}{N} \sum_{i=0}^N x_i \\
= \frac{1}{10} \sum_{i=0}^{10} x_i \\
= \frac{3}{7}
Daher konnte geschätzt werden, dass "die Wahrscheinlichkeit, dass diese Münze auf dem Tisch erscheint, $ \ frac {3} {7} $ ist".
Im vorherigen Abschnitt wurde festgestellt, dass die Ausgabe der wahrscheinlichsten Schätzmethode in der Bernoulli-Verteilung davon abhängt, wie oft ein Ereignis in der Studie aufgetreten ist. Der Nachteil der wahrscheinlichsten Schätzmethode besteht darin, dass, wenn eine Münze dreimal geworfen wird und alle Gesichter erscheinen, geschätzt wird, dass "die Wahrscheinlichkeit, dass diese Münze erscheint, 1 ist". Mit anderen Worten, eine kleine Anzahl von Versuchen führt zu Überlernen.
Recommended Posts