Vérification de l'exactitude de la régression linéaire bayésienne

introduction

J'ai étudié la régression linéaire bayésienne à PRML.

La régression linéaire ordinaire surapprend en choisissant des paramètres complexes

Il est difficile d'ajuster les paramètres si vous incluez le terme de régularisation ...

Donc régression linéaire bayésienne! !!

Il semble que même si le modèle est compliqué, il ne se surapprendra pas ...

Vraiment? ??

Expérimentez là-bas! !!

Courbe idéale (verte): fonction sin, échantillonnage avec bruit ajouté

Régression linéaire bayésienne (rouge): alpha = 0,005, bêta = 10,0

Régression linéaire (bleu)

Régression linéaire + régularisation L2: λ = 0,001

Il existe deux modèles de fonctions de base [1, x, x ^ 2, x ^ 3] et [1, x, x ^ 2,…, x ^ 20](M = 3 et M = 20).

Le code est donné ci-dessous. https://github.com/kenchin110100/machine_learning/blob/master/sampleBAYES.py

Premièrement, avec la fonction de base M = 3 et le nombre d'échantillons de données de 10.

Ensuite, avec 100 échantillons

Si la fonction de base M = 3, il n'y a pas beaucoup de différence ...

Si la fonction de base M = 20 et le modèle est compliqué ...

Tout d'abord, le nombre d'échantillons est de 10

Ensuite, le nombre d'échantillons est de 100

Oh ~~ (La régularisation est assez ...)

Certes, la différence est évidente lorsqu'elle est appliquée à des modèles complexes! !!

Considérant que vous devez définir des paramètres pour la régularisation L2,

M. Bayes.