[PYTHON] Le modèle linéaire généralisé (GLM) et le réseau neuronal sont les mêmes (1)

Cela semble un peu rugueux, mais c'est la même chose que le modèle de linéarisation général (GLM) et le perceptron multicouche du réseau neuronal. Dans les données dispersées, je vais tracer une ligne convaincante. Je pense qu'il y a beaucoup de gens qui travaillent dans les deux domaines, mais je pense que c'est plus facile à comprendre à la fois.

Dans chacune des fonctions de modélisation statistique et discriminantes, ・ Que diriez-vous de dessiner une ligne droite dans n'importe quelle donnée avec un modèle linéaire (LM)? → Trouvons des lignes non linéaires en généralisant (GLM).

• Bien entendu, la généralisation a également le sens d'étendre la distribution des variables de réponse à partir de la distribution normale. -Simple Perceptron ne peut classer que les données qui peuvent être discriminées linéairement (une frontière peut être tracée par une ligne droite). → Créez une couche cachée (couche intermédiaire) et classez-la avec une fonction discriminante compliquée. J'ai élargi le sentiment.

Du point de vue de la modélisation statistique: modèle linéaire généralisé (GLM)

Pour le modèle linéaire et le modèle linéaire généralisé, Les matériaux pour la session d'étude de la solution statistique sont résumés ici, ce qui est assez facile à comprendre. " Matériel du Groupe d'étude statistique - Modèle linéaire généralisé du jour 2 -: Logiques du bleu "

Donc, si vous écrivez un modèle linéaire, un modèle de régression simple ou un modèle de régression multiple en général,

{ \displaystyle
y_i = \alpha + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 … + \beta_i x_i + \varepsilon_i
}

Lorsqu'il est écrit dans une matrice,

\begin{equation}

\left(
    \begin{array}{c}
      y_1 \\
      y_2 \\
・\\
・\\
      y_n
    \end{array} 

\right)

=

\left(

 \begin{array}{ccc}
      1 & x_{11} & x_{12} \\
      1 & x_{12} & x_{22} \\
･&･&･\\
･&･&･\\
      1 & x_{n1} & x_{n2}
    \end{array}
\right)

\left(
   \begin{array}{c}
     \alpha \\
     \beta_1 \\
･\\
･\\
     \beta_n 
    \end{array}
\right)

+

\left(
   \begin{array}{c}
     \varepsilon_1 \\
     \varepsilon_2 \\
･\\
･\\
     \varepsilon_n 
    \end{array}
\right)


\end{equation}

plus loin

y = B X + \epsilon

Peut également être écrit. Cette fois, par souci de simplicité, la variable explicative est fixée à 2.

y = \beta_1 x_1 + \beta_2 x_2 = BX

Penser à.

Ensuite, afin de supprimer la restriction de supposer seulement une distribution droite et normale de l'équation ci-dessus, Utilisez la fonction de lien sur le côté gauche de l'équation de régression. En supposant la distribution de Bernoulli, en utilisant la fonction Logit Link

\log \frac{y}{1-y} = \beta_1 x_1 + \beta_2 x_2

Le côté gauche est la fonction de lien et le côté droit est le prédicteur linéaire. Lorsque cette formule est convertie par la fonction inverse,

  y = \frac{1}{1+exp(-(\beta_1 x_1 + \beta_2 x_2))} = \frac{1}{1+exp(-BX)}　　(1)

Peut être obtenu.

Dans la modélisation statistique, après cela, les paramètres sont utilisés en utilisant une fonction de vraisemblance, etc.

\beta_1  \beta_2
```Pour construire un modèle en estimant=Tracez une ligne dans les données.

 Cela s'allonge, je vais donc continuer dans l'article suivant.