[PYTHON] Avantages et inconvénients de la méthode d'estimation la plus probable

introduction

Ceci est mon premier message posté. Je vais résumer les points qui m'intéressaient dans "Pattern Recognition and Machine Learning" (PRML) que je lis actuellement. (Chapitre 2 2.1 (p66 ~))

table des matières

1. Qu'est-ce que la distribution Bernoulli?
2. Quelle est la méthode d'estimation la plus probable?
3. Inconvénients de la méthode d'estimation la plus probable

1. Qu'est-ce que la distribution Bernoulli?

Commençons par la définition. Lorsque la variable stochastique $ X $ suit la distribution de Bernoulli avec une moyenne $ u $

P(x=1|u)=u,P(x=0|u)=1-u

Rencontrer. Mettez les deux ensemble

P(x|u)=u^x (1-u)^{1-x}

Vous pouvez également écrire.

Un exemple simple est une pièce avec une probabilité d'apparition $ u $ ($ x = 1 $). Dans les rubriques suivantes, nous utiliserons les pièces comme exemple.

2. Quelle est la méthode d'estimation la plus probable?

Comment estimer la moyenne $ u $ d'un échantillon donné. Dans la méthode d'estimation la plus probable Échantillons $ N $

x_1,x_2...x_n

Étant donné la fonction de vraisemblance $ L $ définie ci-dessous

L(u) = \prod_{i=0}^n u^{x_i}(1-u)^{1-x_i}   

Soit $ u_ {ML} $ l'estimation maximale de la vraie moyenne $ u $.

Trouvons $ u $ qui maximise en fait la fonction de vraisemblance $ L $. Premièrement, pour simplifier l'équation, nous prenons le logarithme de la fonction de vraisemblance $ L $.

log(L(u)) = \sum_{i=0}^N x_i log(u) + (1-x_i)log(1-u)

Si $ u $ qui maximise $ log (L (u)) $ est $ u_ {ML} $

u_{ML} = \frac{1}{N} \sum_{i=0}^N x_i

C'est alors que $ x = 1 $ est $ m $ dans les essais $ N $.

u_{ML} = m

Cela signifie que

Essayons la méthode d'estimation la plus probable avec l'exemple des pièces. Supposons maintenant que vous souhaitiez connaître la probabilité qu'une pièce apparaisse sur la table. Pour le moment, lorsque je l'ai jeté environ 10 fois, les résultats suivants ont été obtenus.

Table ・ ・ ・ 3 fois
Derrière ... 7 fois

Suivez la méthode ci-dessus pour trouver $ u_ {ML} $ qui maximise la fonction de vraisemblance.

u_{ML} = \frac{1}{N} \sum_{i=0}^N x_i \\
 = \frac{1}{10} \sum_{i=0}^{10} x_i \\
= \frac{3}{7}

Par conséquent, il a été possible d'estimer que "la probabilité que cette pièce apparaisse sur la table est $ \ frac {3} {7} $".

3. Inconvénients de la méthode d'estimation la plus probable

Dans la section précédente, nous avons constaté que le résultat de la méthode d'estimation la plus probable dans la distribution de Bernoulli dépend du nombre de fois qu'un événement s'est produit dans l'essai. L'inconvénient de la méthode d'estimation la plus probable est que lorsqu'une pièce est lancée trois fois et que toutes les faces apparaissent, on estime que «la probabilité d'apparition de cette pièce est de 1». En d'autres termes, un petit nombre d'essais entraînera un surapprentissage.