2. Multivariate Analyse in Python 6-1. Ridge-Regression / Lasso-Regression (Scikit-Learn) [multiple Regression vs. Ridge-Regression]

• Um es klar auszudrücken, beide sind Entwicklungen der multiplen Regressionsanalyse. ** Lasso wird auch L1 genannt und Ridge wird auch L2 genannt **, die zweiähnliche Beziehungen sind.
• Welche Art von Evolution ist ** verbesserte multiple Regressionsanalyse, um Überlernen zu verhindern **.
• Bei der multiplen Regressionsanalyse wird der Regressionskoeffizient so geschätzt, dass die Verlustfunktion (die Summe der quadratischen Fehler des vorhergesagten Werts und der Zielvariablen) minimiert wird. Vermeiden Sie jedoch zusätzlich **, den Regressionskoeffizienten selbst zu erhöhen. Einfallsreichtum ** wurde angewendet.
• Im Allgemeinen hat ein Modell mit einem großen Regressionskoeffizienten eine große Ausgabe mit einer kleinen Bewegung der Eingabe. Ein solch sensibles Modell ist einem hohen Risiko ausgesetzt, auf Trainingsdaten anwendbar zu sein, jedoch nicht gut auf unbekannte Daten.
• Daher wird ** eine Strafe ** zur Verlustfunktion hinzugefügt, wenn die Anzahl und das Gewicht der Variablen zunehmen, und ** das Modell selbst unterdrückt die Größe des Parameters **.

• Die obige Formel ist die Definition der Verlustfunktion mit der hinzugefügten Strafe, und die Strafe wird ** Regularisierung ** genannt, um genau zu sein.
• Wenn die Anzahl der Variablen $ M $ und das Gewicht $ W $ zunimmt, nimmt der Wert des Regularisierungsterms zu und wird hinzugefügt, um den Wert der Verlustfunktion zu erhöhen.
• Wenn der Regularisierungsterm $ q $ $ q = 1 $ ist, wird er als Lasso-Regression bezeichnet, und wenn $ q = 2 $ als Ridge-Regression bezeichnet wird.

⑴ Bibliothek importieren

#Datenverarbeitungs- / Berechnungs- / Analysebibliothek
import numpy as np
import pandas as pd

#Grafikzeichnungsbibliothek
import matplotlib.pyplot as plt
%matplotlib inline

#Bibliothek für maschinelles Lernen
import sklearn

⑵ Datenerfassung und Lesen

#Daten bekommen
url = 'https://raw.githubusercontent.com/yumi-ito/datasets/master/datasets_auto.csv'

#Lesen Sie die erfassten Daten als DataFrame-Objekt
df = pd.read_csv(url, header=None)

#Spaltenbezeichnung festlegen
df.columns = ['symboling', 'normalized-losses', 'make', 'fuel-type', 'aspiration', 'num-of-doors', 'body-style', 'drive-wheels', 'engine-location', 'wheel-base', 
              'length', 'width', 'height', 'curb-weight', 'engine-type', 'num-of-cylinders', 'engine-size', 'fuel-system', 'bore', 'stroke', 
              'compression-ratio', 'horsepower', 'peak-rpm', 'city-mpg', 'highway-mpg', 'price']

• Ein Datensatz, der die Automobilpreise basierend auf verschiedenen Spezifikationen wie Karosseriestil, Karosseriegröße, Kraftstoffeffizienz und Attributinformationen wie Versicherungsrisikobewertung vorhersagt.
• Daten zu importierten Pkw und Lkw des Modells 1985 in den USA, extrahiert aus drei Quellen: Ausgabe des Ward Automobile Yearbook 1985, persönliches Kfz-Handbuch des Versicherungsbüros und Bericht über Versicherungskollisionen der Road Safety Insurance Association. .. Hier klicken für Details. https://archive.ics.uci.edu/ml/datasets/Automobile
• Die Gliederung ist unten organisiert. Es gibt insgesamt 25 erklärende Variablen, einschließlich numerischer Typen und Attributtypen. Die Zielvariable ist der Preis und die Anzahl der Proben beträgt 205.

#Form und Anzahl der Fehler der Ausgabedaten
print(df.shape)
print('Anzahl der Mängel:{}'.format(df.isnull().sum().sum()))

#Geben Sie die ersten 5 Datenzeilen aus
df.head()

(3) Datenvorverarbeitung

• Konzentrieren wir uns zunächst nur auf drei erklärende Variablen: Leistung, Breite und Höhe.
• Beachten Sie, dass dieser Datensatz einen nicht verarbeitbaren Wert "?" Enthält. Sie müssen also das Beispiel löschen, das diesen enthält.

#Erstellen Sie einen DataFrame nur für die Zielspalten
auto = df[['price', 'horsepower', 'width', 'height']]

#Für jede Spalte?Überprüfen Sie die Nummer, die enthält
auto.isin(['?']).sum()

#""?Durch NAN ersetzen und die Zeile durch NAN löschen
auto = auto.replace('?', np.nan).dropna()

#Überprüfen Sie die Form der Matrix nach dem Löschen
auto.shape

• Es wurde bestätigt, dass die Anzahl der Zeilen 199 beträgt, was durch Subtrahieren von 6 Zeilen einschließlich "?" Von den ursprünglichen 205 erhalten wird, und dass es sich um eine Matrix mit nur 4 Zielvariablen handelt.
• Überprüfen Sie außerdem die Datentypen dieser 4 Variablen.

#Datentypbestätigung
auto.dtypes

• Der Objekttyp entspricht dem str-Typ und muss in einen numerischen Typ konvertiert werden.

#Datentyp konvertieren
auto = auto.assign(price = pd.to_numeric(auto.price))
auto = auto.assign(horsepower = pd.to_numeric(auto.horsepower))

#Überprüfen Sie den konvertierten Datentyp
auto.dtypes

• Wenn Sie in der Funktion pandas'assign () im Schlüsselwortargument Spaltenname = Wert angeben, wird der angegebene Wert der vorhandenen Spalte zugewiesen, und wenn es sich um einen neuen Spaltennamen handelt, wird eine neue Spalte hinzugefügt. ..
• Überprüfen Sie dann am Ende der Datenvorverarbeitung ** die Korrelationsmatrix ** mit der Funktion corr () von Pandas.

auto.corr()

• Der Preis ist die Zielvariable. Wenn Sie also den Korrelationskoeffizienten zwischen den anderen erklärenden Variablen beobachten, ist der Korrelationskoeffizient zwischen Breite und Leistung mit 0,6 oder mehr geringfügig höher.
• Wenn bei der multiplen Regressionsanalyse eine hohe Korrelation zwischen den erklärenden Variablen besteht, verwenden Sie nur die Variablen, die die stark korrelierten Variablen darstellen. Dies ist ein Phänomen, das als ** multiple Co-Linearität (allgemein als Multi-Co bekannt) ** bezeichnet wird und aufgrund der hohen Korrelation zwischen erklärenden Variablen Probleme bei der Berechnung verursacht und abnormale Werte von Koeffizienten und Quotenverhältnissen verursacht.
• Da dies jedoch ein Test ist, werden wir weiterhin alle drei erklärenden Variablen verwenden.

⑷ Modellbau und Bewertung

#Überprüfen Sie die Daten
print(auto)

** Führen Sie anhand dieser Daten eine Modellschätzung für die Gratregression und die multiple Regressionsanalyse durch und vergleichen Sie die Genauigkeit beider. ** ** **

#Import für die Modellbildung der Gratregression
from sklearn.linear_model import Ridge

#Import für die Modellbildung der multiplen Regressionsanalyse
from sklearn.linear_model import LinearRegression

#Import zur Datenpartitionierung (Trainingsdaten und Testdaten)
from sklearn.model_selection import train_test_split

• Verwenden Sie die Pandas-Funktion drop (), um die Spalte price zu entfernen und setzen Sie nur die erklärenden Variablen auf x und nur den price auf y.
• In der Methode "train_test_split" von sklearn werden die erklärende Variable x und die Zielvariable y in Trainingsdaten (Zug) bzw. Testdaten (Test) unterteilt.

#Legen Sie erklärende Variablen und objektive Variablen fest
x = auto.drop('price', axis=1)
y = auto['price']

#Unterteilt in Trainingsdaten und Testdaten
X_train, X_test, Y_train, Y_test = train_test_split(x, y, test_size=0.5, random_state=0)

** Erstellen Sie zunächst ein Modell für die multiple Regressionsanalyse und berechnen Sie die Genauigkeitsrate der Trainingsdaten und Testdaten. ** ** **

#Initialisierung der LinearRegression-Klasse
linear = LinearRegression()

#Ausführung des Lernens
linear.fit(X_train, Y_train)

#Richtige Antwortrate der Trainingsdaten
train_score_linear = format(linear.score(X_train, Y_train))
print('Richtige Antwortrate der multiplen Regressionsanalyse(train):', 
      '{:.6f}'.format(float(train_score_linear)))

#Richtige Antwortrate der Testdaten
test_score_linear = format(linear.score(X_test, Y_test))
print('Richtige Antwortrate der multiplen Regressionsanalyse(test):', 
      '{:.6f}'.format(float(test_score_linear)))

• '{:. Anzahl der Stellen f}'. Format () gibt die Anzahl der Stellen nach dem Dezimalpunkt an.
• Da der Datentyp von "train_score_linear" und "test_score_linear" der str-Typ ist, werden sie mit "float ()" in Gleitkommazahlen konvertiert.

** Erstellen Sie als Nächstes ein Modell der Gratregression und berechnen Sie die Genauigkeitsrate der Trainingsdaten und Testdaten. ** ** **

#Initialisierung der Ridge-Klasse
ridge = Ridge()

#Ausführung des Lernens
ridge.fit(X_train, Y_train)

#Richtige Antwortrate der Trainingsdaten
train_score_ridge = format(ridge.score(X_train, Y_train))
print('Ridge Regressionsgenauigkeitsrate(train):', 
      '{:.6f}'.format(float(train_score_ridge)))

#Richtige Antwortrate der Testdaten
test_score_ridge = format(ridge.score(X_test, Y_test))
print('Ridge Regressionsgenauigkeitsrate(test):', 
      '{:.6f}'.format(float(test_score_ridge)))

• In diesen Modellen gibt es keinen signifikanten Unterschied in der Leistung der multiplen Regression und der Ridge-Regression.
• Als Tendenz beim Lernen von Trainingsdaten weist die multiple Regression jedoch eine höhere Genauigkeitsrate auf, obwohl sie winzig ist, und wenn sie zu Testdaten wird, wird die Gratregression umgekehrt. Diese Umkehrung scheint ein guter Effekt der Regularisierung zu sein.