[PYTHON] Bis die wahrscheinlichste Schätzmethode den wahren Parameter findet

Einführung

Lassen Sie uns beobachten, dass sich der geschätzte Wert durch die wahrscheinlichste Schätzmethode dem wahren Wert nähert, wenn die Anzahl der Versuche zunimmt.

Inhaltsverzeichnis

1. Was ist die wahrscheinlichste Schätzmethode?
2. Was ist eine Übereinstimmungsschätzung?
3. Simulation mit Python

1. Was ist die wahrscheinlichste Schätzmethode?

Bei der Schätzung des wahren Durchschnitts der Bernoulli-Verteilung mit der wahrscheinlichsten Schätzmethode beträgt der geschätzte Wert $ \ mu_ {ML} $

\mu_{ML} = \frac{1}{N} \sum_{i=0}^N x_i

Es sieht aus wie. Der Nachteil der wahrscheinlichsten Schätzmethode besteht darin, dass sie mit einer kleinen Anzahl von Versuchen überlernt. Es zeigt sich jedoch, dass es sich mit zunehmender Anzahl von Versuchen dem wahren Wert nähert. Der Wert, der sich dem Populationsmittelwert oder der Populationsvarianz nähert, wenn die Anzahl der Versuche wiederholt wird, wird als Übereinstimmungsschätzung bezeichnet. Die folgende Theorie zeigt, dass $ \ mu_ {ML} $ eine Übereinstimmungsschätzung ist.

2. Was ist eine Übereinstimmungsschätzung?

Für jedes $ \ epsilon> 0 $ gilt $ \ hat {\ theta} _n $

\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0

Wenn erfüllt ist, wird $ \ hat {\ theta} _n $ als übereinstimmende Schätzung der Population $ \ theta $ bezeichnet.

Der grobe Ausdruck bedeutet, wenn $ \ hat {\ theta} _n $ eine Übereinstimmungsschätzung ist. "Bei einer unendlichen Anzahl von Versuchen ist die Wahrscheinlichkeit, dass der Unterschied zwischen $ \ hat {\ theta} _n $ und $ \ theta $ größer ist als die sehr kleine Anzahl $ \ epsilon $ 0."

Wir werden zeigen, dass die wahrscheinlichste Schätzmethode $ \ mu_ {ML} $ in der Bernoulli-Verteilung eine Konkordanzschätzung des Populationsmittelwerts $ \ mu $ ist. Chebyshevs Ungleichung als Übereinstimmungsschätzung

P(|Y - E[Y]| > \epsilon) \leq \frac{V[Y]}{\epsilon^2}

Es ist einfach zu bedienen. (Bild des Ersetzens von $ Y $ durch $ \ mu_ {ML} $)

$ E [u_ {ML}] $ ist (entspricht Chebyshevs $ E [Y] $)

\begin{eqnarray}
E[\mu_{ML}] &=& E[\frac{1}{N}\sum_{i=0}^N x_i]\\
&=&\frac{1}{N}E[\sum_{i=0}^N x_i]\\
&=&\frac{1}{N}\sum_{i=0}^NE[x_i]\\
&=&\frac{1}{N} N u\\
&=&\mu\\
\end{eqnarray}

$ V [\ mu_ {ML}] $ ist

\begin{eqnarray}
V[\mu_{ML}] &=& V[\frac{1}{N}\sum_{i=0}^N x_i]\\
&=&\frac{1}{N^2}\sum_{i=0}^NV[x_i]\\
&=&\frac{1}{N^2}N\sigma\\
&=&\frac{\sigma}{N}

\end{eqnarray}

Ersetzen Sie also $ Y $ in der obigen Chebyshev-Ungleichung durch $ \ mu_ {ML} $

\begin{eqnarray}
P(|\mu_{ML} - E[\mu_{ML}]| > \epsilon) \leq \frac{V[\mu_{ML}]}{\epsilon^2} \\
&\Leftrightarrow& P(|\mu_{ML} - u]| > \epsilon) \leq \frac{1}{\epsilon^2} \frac{\sigma}{N}\\
\end{eqnarray}

Da die rechte Seite $ N → \ infty $ ist, wird sie zu $ 0 $.

\lim_{n \to \infty} P(|\mu_{ML} - \mu| > \epsilon) = 0

Ist festgelegt. $ \ Mu m {ML} $ ist also eine Übereinstimmungsschätzung für $ \ mu $.

3. Simulation mit Python

2 zeigt, dass $ \ mu_ {ML} $ eine übereinstimmende Schätzung von $ \ mu $ ist, dh $ N → \ infty $ zeigt, dass $ \ mu_ {ML} $ mit $ \ mu $ übereinstimmt Es war. Das Ergebnis der Simulation mit Python ist wie folgt. Die horizontale Achse ist $ N $, die vertikale Achse ist $ \ mu_ {ML} $ und die violette Linie ist der Bevölkerungsdurchschnitt $ u $. Es ist zunächst eine grobe Vorhersage, aber es stellt sich heraus, dass sich der Wert $ \ mu $ nähert, wenn $ N $ zunimmt. Der Code ist unten aufgeführt. Code: https://github.com/kthimuo/blog/blob/master/ml_Bernoulli_plot.py

das ist alles. Wenn Sie Vorschläge haben, kommentieren Sie bitte.