[PYTHON] Zusammenfassung der Klassifizierung und Implementierung von Algorithmen für maschinelles Lernen

Einführung

Wir haben die Klassifizierung des maschinellen Lernens und eine einfache Implementierung unter Verwendung einer Bibliothek dieser Algorithmen zusammengefasst. Der Code jedes Algorithmus enthält Beispieldaten, sodass er so ausgeführt werden kann, wie er ist. Da nur die minimal erforderlichen Parameter eingestellt sind, finden Sie detaillierte Einstellungen im offiziellen Dokument usw.

Jeder Algorithmus hat eine kurze Erklärung, aber keine detaillierte Erklärung.

Zielgruppe

• Ich möchte die Klassifizierung von Algorithmen für maschinelles Lernen kennen
• Ich möchte einen Algorithmus für maschinelles Lernen implementieren und betreiben

Tor

• Verständnis der Klassifizierung von Algorithmen für maschinelles Lernen
• Kann Algorithmen für maschinelles Lernen implementieren

Klassifikation des maschinellen Lernens

Maschinelles Lernen wird wie folgt kategorisiert.

• Lernen mit einem Lehrer --Rückkehr --Kategorie
• Lernen ohne Lehrer
• Stärkung des Lernens

Dieses Mal werden wir uns nicht mit der Implementierung von verbessertem Lernen befassen.

Mit einem Lehrer lernen

Überwachtes Lernen ist eine Methode zum Lernen der Antwort auf eine Frage aus Daten, die Merkmale (Merkmale, erklärende Variablen) darstellen, und Daten, die die Antwort sind (Bezeichnungen, objektive Variablen).

Betreutes Lernen kann in die folgenden zwei Kategorien unterteilt werden.

--Return: Sagen Sie fortlaufende Zahlen voraus

• Höhenvorhersage usw. --Kategorie: Ungeordnete Etiketten vorhersagen
• Geschlechtsvorhersage usw.

Nutzungsdaten

Ich werde kurz die in der Implementierung verwendeten Daten erläutern.

Hier werden wir die Beispieldaten von scicit-learn verwenden. Die verwendeten Daten sind wie folgt für die Regression und Klassifizierung.

--Rückkehr

• Boston Home Price ――13 Funktionen
• Die Zielvariable ist der Hauspreis --Kategorie
• Weinqualität ――13 Funktionen
• Zu klassifizierende Klassen sind 3

Algorithmus

Ich werde den Algorithmus des überwachten Lernens vorstellen. Es wird beschrieben, ob jeder Algorithmus auf Regression oder Klassifizierung angewendet werden kann.

Lineare Regression

--Rückkehr

Eine Methode zum Modellieren der Beziehung, in der die Zielvariable größer (kleiner) wird, wenn die Merkmalsmenge größer wird.

Offizielles Dokument

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

#Daten lesen
boston = load_boston()
X = boston['data']
y = boston['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = LinearRegression()
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

Logistische Rückgabe

--Kategorie

Eine Methode zum Lernen der Wahrscheinlichkeit, dass ein Ereignis eintritt.

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

#Daten lesen
wine = load_wine()
X = wine['data']
y = wine['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = LogisticRegression()
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

Zufälliger Wald

--Rückkehr --Kategorie

Eine Methode zur mehrheitlichen Vorhersage aus mehreren Entscheidungsbäumen.

Version zurückgeben

Offizielles Dokument

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor

#Daten lesen
boston = load_boston()
X = boston['data']
y = boston['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = RandomForestRegressor(random_state=0)
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

Klassifizierungsversion

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

#Daten lesen
wine = load_wine()
X = wine['data']
y = wine['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = RandomForestClassifier(random_state=0)
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

Unterstützung Vektormaschine

Eine Technik, um bessere Entscheidungsgrenzen durch Maximierung der Ränder zu erzielen.

--Rückkehr --Kategorie

Version zurückgeben

Offizielles Dokument

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.svm import SVR

#Daten lesen
boston = load_boston()
X = boston['data']
y = boston['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = SVR(kernel='linear', gamma='auto')
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

Klassifizierungsversion

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

#Daten lesen
wine = load_wine()
X = wine['data']
y = wine['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = SVC(gamma='auto')
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

kNN

Eine Methode zum Speichern aller Trainingsdaten und zum Treffen einer Mehrheitsentscheidung aus k Daten, die nahe an den Daten liegen, die Sie vorhersagen möchten.

--Rückkehr --Kategorie

Version zurückgeben

Offizielles Dokument

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsRegressor

#Daten lesen
boston = load_boston()
X = boston['data']
y = boston['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = KNeighborsRegressor(n_neighbors=3)
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

Klassifizierungsversion

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

#Daten lesen
wine = load_wine()
X = wine['data']
y = wine['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = KNeighborsClassifier(n_neighbors=3)
model.fit(X_train, y_train)

score = model.score(X_test, y_test)

print('score is', score)

neurales Netzwerk

Eine Methode, die die neuronalen Schaltkreise des menschlichen Gehirns nachahmt und eine Struktur aufweist, die aus einer Eingangsschicht, einer verborgenen Schicht und einer Ausgangsschicht besteht.

--Rückkehr --Kategorie

Offizielles Dokument

Version zurückgeben

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from tensorflow.keras import models
from tensorflow.keras import layers

#Daten lesen
boston = load_boston()
X = boston['data']
y = boston['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = models.Sequential()
model.add(layers.Dense(64, activation='relu', input_shape=(X_train.shape[1],)))
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(1))
model.compile(optimizer='rmsprop', loss='mse', metrics=['mae'])

model.fit(X_train, y_train)

mse, mae = model.evaluate(X_test, y_test)

print('MSE is', mse)
print('MAE is', mae)

Klassifizierungsversion

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from tensorflow.keras import models
from tensorflow.keras import layers
from tensorflow.keras import utils

#Daten lesen
boston = load_wine()
X = boston['data']
y = utils.to_categorical(boston['target'])
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

model = models.Sequential()
model.add(layers.Dense(64, activation='relu', input_shape=(X_train.shape[1],)))
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(3, activation='softmax'))
model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])

model.fit(X_train, y_train)

crossentropy, acc = model.evaluate(X_test, y_test)

print('Categorical Crossentropy is', crossentropy)
print('Accuracy is', acc)

Gradientenverstärkung

Einer der Ensembles lernt, mehrere Modelle zu trainieren. Eine Methode zum wiederholten Extrahieren einiger Daten und zum sequentiellen Trainieren mehrerer Entscheidungsbaummodelle.

--Rückkehr --Kategorie

Offizielles Dokument

Version zurückgeben

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import lightgbm as lgb
import numpy as np

#Daten lesen
wine = load_boston()
X = wine['data']
y = wine['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test)

params = {
    'objective': 'regression',
    'metric': 'mse',
}
num_round = 100

model = lgb.train(
    params,
    lgb_train,
    valid_sets=lgb_eval,
    num_boost_round=num_round,
)

y_pred = model.predict(X_test)

score = mean_squared_error(y_test, y_pred)

print('score is', score)

Klassifizierungsversion

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import lightgbm as lgb
import numpy as np

#Daten lesen
wine = load_wine()
X = wine['data']
y = wine['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test)

params = {
    'objective': 'multiclass',
    'num_class': 3,
}
num_round = 100

model = lgb.train(
    params,
    lgb_train,
    valid_sets=lgb_eval,
    num_boost_round=num_round,
)

pred = model.predict(X_test)
y_pred = []
for p in pred:
    y_pred.append(np.argmax(p))

score = accuracy_score(y_test, y_pred)

print('score is', score)

Lernen ohne Lehrer

Unbeaufsichtigtes Lernen ist eine Methode, um nur aus den Daten zu lernen, die die Merkmale ohne Antwortdaten darstellen.

Nutzungsdaten

Bei der Verwendung von unbeaufsichtigtem Lernen handelt es sich um die Qualitätsdaten des Weins, der beim überwachten Lernen verwendet wird.

• Weinqualität ――13 Funktionen
• Zu klassifizierende Klassen sind 3

Algorithmus

Ich werde den Algorithmus des unbeaufsichtigten Lernens vorstellen.

K-means

Eine der Clustering-Methoden. Eine Methode zum Organisieren von Daten in k Klassen.

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.cluster import KMeans

#Daten lesen
wine = load_wine()
X = wine['data']

model = KMeans(n_clusters=3, random_state=0)
model.fit(X)

print("labels: \n", model.labels_)
print("cluster centers: \n", model.cluster_centers_)
print("predict result: \n", model.predict(X))

Gemischte Gaußsche Verteilung

Eine der Clustering-Methoden. Eine Methode zum Klassifizieren von Daten nach der Gaußschen Verteilung, zu der sie gehören, unter der Annahme, dass die Daten aus mehreren Gaußschen Verteilungen generiert werden.

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.mixture import GaussianMixture

#Daten lesen
wine = load_wine()
X = wine['data']

model = GaussianMixture(n_components=4)
model.fit(X)

print("means: \n", model.means_)
print("predict result: \n", model.predict(X))

Hauptkomponentenanalyse

Eine der Methoden zur Dimensionsreduzierung. Eine Methode zum Ausdrücken von Daten aus einer großen Anzahl von Variablen mit weniger Variablen (Hauptkomponenten) unter Beibehaltung der Eigenschaften der Daten.

Offizielles Dokument

from sklearn.datasets import load_wine
from sklearn.decomposition import PCA

#Daten lesen
wine = load_wine()
X = wine['data']

model = PCA(n_components=4)
model.fit(X)

print('Before Transform:', X.shape[1])
print('After Transform:', model.transform(X).shape[1])

Zusammenfassung

• Das unterrichtete Lernen kann in Regression und Klassifizierung unterteilt werden
• Es gibt verschiedene Arten von unbeaufsichtigtem Lernen ――Sie können mit ein wenig Code maschinell lernen, wenn Sie es versuchen
• Es gibt verschiedene Parameter. Lesen Sie daher bei Bedarf die offizielle Dokumentation.

Ich habe nicht genug über unbeaufsichtigtes Lernen und die Stärkung des Lernens gelernt, deshalb werde ich weiter lernen.

Verweise

• [Mechanismus des Algorithmus für maschinelles Lernen, der durch Betrachten verstanden werden kann](https://www.amazon.co.jp/%E8%A6%8B%E3%81%A6%E8%A9%A6%E3% 81% 97% E3% 81% A6% E3% 82% 8F% E3% 81% 8B% E3% 82% 8B% E6% A9% 9F% E6% A2% B0% E5% AD% A6% E7% BF% 92% E3% 82% A2% E3% 83% AB% E3% 82% B4% E3% 83% AA% E3% 82% BA% E3% 83% A0% E3% 81% AE% E4% BB% 95% E7% B5% 84% E3% 81% BF-% E6% A9% 9F% E6% A2% B0% E5% AD% A6% E7% BF% 92% E5% 9B% B3% E9% 91% 91-% E7% A7% 8B% E5% BA% AD-% E4% BC% B8% E4% B9% 9F / dp / 4798155659)
• [Lerne mit Python! Neues Lehrbuch für maschinelles Lernen](https://www.amazon.co.jp/Python%E3%81%A7%E5%8B%95%E3%81%8B%E3%81%97%E3%81%A6 % E5% AD% A6% E3% 81% B6% EF% BC% 81% E3% 81% 82% E3% 81% 9F% E3% 82% 89% E3% 81% 97% E3% 81% 84% E6 % A9% 9F% E6% A2% B0% E5% AD% A6% E7% BF% 92% E3% 81% AE% E6% 95% 99% E7% A7% 91% E6% 9B% B8-% E7% AC% AC2% E7% 89% 88-AI-TECHNOLOGY-% E4% BC% 8A% E8% 97% A4 / dp / 4798159913 / ref = pd_aw_sbs_14_49? = HfV8H & pd_rd_wg = ub3Ib & pf_rd_p = 1893a417-ba87-4709-ab4f-0dece788c310 & pf_rd_r = 874Z4AYT8W8GD6QQK6TT & psc = 1 & refRID = 874Z4AYT8K8
• [Deep Learning mit Python und Keras](https://www.amazon.co.jp/Python%E3%81%A8Keras%E3%81%AB%E3%82%88%E3%82%8B%E3% 83% 87% E3% 82% A3% E3% 83% BC% E3% 83% 97% E3% 83% A9% E3% 83% BC% E3% 83% 8B% E3% 83% B3% E3% 82% B0-Francois-Chollet / dp / 4839964262)
• [Deep Learning Lehrbuch Deep Learning G Test (Generalist) Offizieller Text](https://www.amazon.co.jp/%E6%B7%B1%E5%B1%A4%E5%AD%A6%E7%BF % 92% E6% 95% 99% E7% A7% 91% E6% 9B% B8-% E3% 83% 87% E3% 82% A3% E3% 83% BC% E3% 83% 97% E3% 83% A9% E3% 83% BC% E3% 83% 8B% E3% 83% B3% E3% 82% B0-G% E6% A4% 9C% E5% AE% 9A-% E3% 82% B8% E3% 82 % A7% E3% 83% 8D% E3% 83% A9% E3% 83% AA% E3% 82% B9% E3% 83% 88-% E5% 85% AC% E5% BC% 8F% E3% 83% 86% E3% 82% AD% E3% 82% B9% E3% 83% 88 / dp / 4798157554)
• Liste typischer Methoden des maschinellen Lernens
• scikit-learn Choosing the right estimator¶