[PYTHON] Verstehe maschinelles Lernen ~ Ridge Regression ~.

Einführung

Freut mich, dich kennenzulernen. Es ist m0rio0818. Ich habe vor kurzem angefangen, maschinelles Lernen zu studieren. Ich tappe immer noch, aber ich möchte es hier als Memorandum behalten.

Ich bin im Allgemeinen nicht gut in SNS, also habe ich nicht zum ersten Mal weitergemacht, aber ich werde mein Bestes geben, um weiter zu posten. Ich lerne alleine und ich denke, es gibt einige Fehler. Ich wäre Ihnen dankbar, wenn Sie darauf hinweisen könnten.

Minimum-Quadrat-Methode

Zunächst möchte ich kurz auf die Methode der minimalen Quadrate eingehen. In der Regressionsanalyse des maschinellen Lernens werden Formeln unter Verwendung der Theorie der Methode der kleinsten Quadrate erstellt. Nehmen Sie als Bild der Methode der kleinsten Quadrate ein Diagramm und zeichnen Sie eine gerade Linie, die durch die Mitte der einzelnen Daten verläuft. Der lineare Ausdruck sei y = ax + b. Vorerst habe ich versucht, eine gerade Linie zu zeichnen, um ein Bild zu machen. Das Bild ist unten dargestellt.

Es gibt eine Lücke zwischen dieser Vorhersage und der tatsächlichen Situation. Der Fehler zwischen dieser geraden Linie und jedem Punkt sei in der obigen Abbildung e1, e2, e3, e4, e5. Quadrieren Sie den Fehler und dividieren Sie durch 5.

E = \frac{e1^2 + e2^2 + e3^2 + e4^2 + e5^2}{5}

Je kleiner dieser Fehler E ist, desto besser ist die Regressionslinie. Darüber hinaus unterwirft die Methode der minimalen Quadrate a und b beim Erstellen einer Vorhersageformel (Rückgabeformel) keine Einschränkungen.

Ridge kehrt zurück

Als nächstes kommt die Gratregression. Die Ridge-Regression ist eine leicht modifizierte Version der zuvor erwähnten Methode der kleinsten Quadrate. Speziell, ・ Die Minimum-Square-Methode behandelte nur den Fehler E.

・ Berücksichtigen Sie bei der Gratregression F, die die Summe des Quadrats des Koeffizienten zusätzlich zum Fehler E ist. F wird auch als "Regularisierungsterm" bezeichnet.

 F = {a^2 + b^2}

Berechnen Sie dann mit L = E + F die Koeffizienten a und b, die L minimieren. In der Realität kann der Grad des Einflusses von F eingestellt werden, indem der Regularisierungsterm mit einer bestimmten Zahl multipliziert wird, beispielsweise L = E + 0,2 × F.

Die Ridge-Regression ist eine der regulierten linearen Regressionen, dh die lineare Regression plus das Quadrat des gelernten Gewichts.

Darüber hinaus kann die Gratregression ein Überlernen verhindern.

Schließlich

Ich habe die folgenden Referenzen verwendet.

Ich habe eine kleine Vorstellung davon, wie eine Gratregression aussieht. Nächstes Mal möchte ich die Gratregression implementieren.

Verweise

Bücher Maschinelles Lernen mit Python, das Sie klar verstehen können

Webseite https://aizine.ai/ridge-lasso-elasticnet/