[PYTHON] Jusqu'à ce que la méthode d'estimation la plus probable trouve le vrai paramètre

introduction

Observons que la valeur estimée par la méthode d'estimation la plus probable s'approche de la valeur réelle à mesure que le nombre d'essais augmente.

table des matières

1. Quelle est la méthode d'estimation la plus probable?
2. Qu'est-ce qu'une estimation de correspondance?
3. Simulation avec python

1. Quelle est la méthode d'estimation la plus probable?

Lors de l'estimation de la vraie moyenne de la distribution de Bernoulli par la méthode d'estimation la plus probable, la valeur estimée $ \ mu_ {ML} $ est

\mu_{ML} = \frac{1}{N} \sum_{i=0}^N x_i

On dirait. L'inconvénient de la méthode d'estimation la plus probable est qu'elle surapprend avec un petit nombre d'essais. Cependant, cela montre qu'il s'approche de la valeur réelle à mesure que le nombre d'essais augmente. La valeur qui se rapproche de la moyenne de la population ou de la variance de la population lorsque le nombre d'essais est répété est appelée estimation d'appariement. La théorie suivante montre que $ \ mu_ {ML} $ est une estimation de correspondance.

2. Qu'est-ce qu'une estimation de correspondance?

Pour tout $ \ epsilon> 0 $, $ \ hat {\ theta} _n $

\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0

Quand est satisfait, $ \ hat {\ theta} _n $ est appelé l'estimation correspondante de la population $ \ theta $.

L'expression approximative signifie quand $ \ hat {\ theta} _n $ est une estimation de correspondance. "Avec un nombre infini d'essais, la probabilité que la différence entre $ \ hat {\ theta} _n $ et $ \ theta $ soit supérieure au tout petit nombre $ \ epsilon $ est de 0."

Nous montrerons que la méthode d'estimation la plus probable $ \ mu_ {ML} $ dans la distribution de Bernoulli est une estimation par concordance de la moyenne de population $ \ mu $. L'inégalité de Chebyshev lorsqu'elle s'avère être une estimation de correspondance

P(|Y - E[Y]| > \epsilon) \leq \frac{V[Y]}{\epsilon^2}

C'est facile a utiliser. (Image de remplacement de $ Y $ par $ \ mu_ {ML} $)

$ E [u_ {ML}] $ is (équivalent à $ E [Y] $ de Chebyshev)

\begin{eqnarray}
E[\mu_{ML}] &=& E[\frac{1}{N}\sum_{i=0}^N x_i]\\
&=&\frac{1}{N}E[\sum_{i=0}^N x_i]\\
&=&\frac{1}{N}\sum_{i=0}^NE[x_i]\\
&=&\frac{1}{N} N u\\
&=&\mu\\
\end{eqnarray}

$ V [\ mu_ {ML}] $ est

\begin{eqnarray}
V[\mu_{ML}] &=& V[\frac{1}{N}\sum_{i=0}^N x_i]\\
&=&\frac{1}{N^2}\sum_{i=0}^NV[x_i]\\
&=&\frac{1}{N^2}N\sigma\\
&=&\frac{\sigma}{N}

\end{eqnarray}

Remplacez donc $ Y $ dans l'inégalité de Chebyshev ci-dessus par $ \ mu_ {ML} $

\begin{eqnarray}
P(|\mu_{ML} - E[\mu_{ML}]| > \epsilon) \leq \frac{V[\mu_{ML}]}{\epsilon^2} \\
&\Leftrightarrow& P(|\mu_{ML} - u]| > \epsilon) \leq \frac{1}{\epsilon^2} \frac{\sigma}{N}\\
\end{eqnarray}

Puisque le côté droit est $ N → \ infty $, il devient $ 0 $.

\lim_{n \to \infty} P(|\mu_{ML} - \mu| > \epsilon) = 0

Est établi. Donc $ \ mu_ {ML} $ est une estimation de correspondance pour $ \ mu $.

3. Simulation avec python

2 montre que $ \ mu_ {ML} $ est une estimation correspondante de $ \ mu $, c'est-à-dire que $ N → \ infty $ montre que $ \ mu_ {ML} $ correspond à $ \ mu $ C'était. Le résultat de la simulation avec python est le suivant. L'axe horizontal est $ N $, l'axe vertical $ \ mu_ {ML} $ et la ligne violette représente la moyenne de la population $ u $. C'est une prédiction approximative au début, mais il s'avère que la valeur approche $ \ mu $ lorsque $ N $ augmente. Le code est listé ci-dessous. Code: https://github.com/kthimuo/blog/blob/master/ml_Bernoulli_plot.py

c'est tout. Si vous avez des suggestions, veuillez commenter.