[PYTHON] Anfänger des maschinellen Lernens versuchten RBM

zunaechst...

Qiita Anfängerbeitrag. Es ist schwer zu sehen ... oder so etwas, jeder kann es tun! Bitte verzeih mir ... Bis zuletzt wurde es von Herrn Zero gemacht, der keine Kenntnisse über maschinelles Lernen und künstliche Intelligenz hat. (Was war zuerst die Epoche? Was war die Genauigkeit? Ww)

Was ist RBM?

RBM(Restricted Boltzmann machine) Es ist eine Art Pre-Training-Methode in Deep Learning, und es ist eine Art Modell, das perfekt zu AutoEncoder passt, was oft gehört wird. Das Modell wurde zwischen 1984 und 1986 erfunden, in der Hoffnung auf einen Vorsprung in der statistischen Mechanik. Es ist als äußerst praktisches Modell bekannt, da es im Gegensatz zum Autoencoder, der Eingaben empfängt und die Ausgabe deterministisch bestimmt, Diskussionen über eine Wahrscheinlichkeitsverteilung ermöglicht.

Deep Learning von RBM ~ With Black Magic ~

Ich bin mir nicht sicher ...

Ich habe viel gesucht!

Dann ... In [scikit learn] gibt es etwas namens BernoulliRBM (https://scikit-learn.org/stable/modules/generated/sklearn.neural_network.BernoulliRBM.html)! ich muss es tun

Implementierung

Führen Sie es vorerst mit einem Datensatz namens MNIST aus!

RBM.ipynb

import numpy as np
import matplotlib.pyplot as plt

from scipy.ndimage import convolve
from sklearn import linear_model, datasets, metrics
from sklearn.model_selection import train_test_split
from sklearn.neural_network import BernoulliRBM
from sklearn.pipeline import Pipeline
from sklearn.base import clone

#Datensatz verwendet
from keras.datasets import fashion_mnist
from keras.datasets import mnist

from keras.layers import Input, Dense
from keras.models import Model
from keras import layers, models

import time
import numpy

Der Import sieht vorerst wie oben aus

Gehen Sie wie im Beispiel gezeigt vor (viele Teile wissen nicht, wie sie verarbeitet werden sollen).

RBM.ipynb

def nudge_dataset(X, Y):
    """
    This produces a dataset 5 times bigger than the original one,
    by moving the 8x8 images in X around by 1px to left, right, down, up
    """
    direction_vectors = [
        [[0, 1, 0],
         [0, 0, 0],
         [0, 0, 0]],

        [[0, 0, 0],
         [1, 0, 0],
         [0, 0, 0]],

        [[0, 0, 0],
         [0, 0, 1],
         [0, 0, 0]],

        [[0, 0, 0],
         [0, 0, 0],
         [0, 1, 0]]]

    def shift(x, w):
        return convolve(x.reshape((8, 8)), mode='constant', weights=w).ravel()

    X = np.concatenate([X] +
                       [np.apply_along_axis(shift, 1, X, vector)
                        for vector in direction_vectors])
    Y = np.concatenate([Y for _ in range(5)], axis=0)
    return X, Y


# Load Data
# (x_train, y_train), (x_test, y_test) = mnist.load_data()
# X, y = mnist.load_data()
# X = np.asarray(X, 'float32')
# X, Y = nudge_dataset(X, y)
# X = (X - np.min(X, 0)) / (np.max(X, 0) + 0.0001)  # 0-1 scaling

# X_train, X_test, Y_train, Y_test = train_test_split(
#     X, Y, test_size=0.2, random_state=0)

# (X_train, Y_train), (X_test, Y_test) = fashion_mnist.load_data()
(X_train, Y_train), (X_test, Y_test) = mnist.load_data()

X_train = X_train.astype('float32') / 255.
X_test = X_test.astype('float32') / 255.
X_train = X_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
X_test = X_test.reshape((len(x_test), np.prod(x_test.shape[1:])))

# Models we will use
logistic = linear_model.LogisticRegression(solver='newton-cg', tol=1)
rbm = BernoulliRBM(random_state=0, verbose=True)

rbm_features_classifier = Pipeline(
    steps=[('rbm', rbm), ('logistic', logistic)])

# #############################################################################
# Training

# Hyper-parameters. These were set by cross-validation,
# using a GridSearchCV. Here we are not performing cross-validation to
# save time.
rbm.learning_rate = 0.06
rbm.n_iter = 10
# More components tend to give better prediction performance, but larger
# fitting time
rbm.n_components = 100
logistic.C = 6000

# Training RBM-Logistic Pipeline
rbm_features_classifier.fit(X_train, Y_train)

# Training the Logistic regression classifier directly on the pixel
raw_pixel_classifier = clone(logistic)
raw_pixel_classifier.C = 100.
raw_pixel_classifier.fit(X_train, Y_train)

# #############################################################################
# Evaluation

Y_pred = rbm_features_classifier.predict(X_test)
print("Logistic regression using RBM features:\n%s\n" % (
    metrics.classification_report(Y_test, Y_pred)))

Y_pred = raw_pixel_classifier.predict(X_test)
print("Logistic regression using raw pixel features:\n%s\n" % (
    metrics.classification_report(Y_test, Y_pred)))

Entschuldigung für den schmutzigen Quellcode ... Ich muss den Kommentar löschen ... Es ist schwierig, schönen Code zu schreiben ...

Ich verwende Bernoulli RBM aus der sklearn-Bibliothek. In diesem Beispiel erstellen wir eine Klassifizierungspipeline mit dem Bernoulli RBM-Feature-Extraktor und dem Logistic Regression-Klassifizierer. Zum Vergleich präsentieren wir eine logistische Regression der Rohpixelwerte.

[RBM-Quellcode (sklearn)](https://scikit-learn.org/stable/auto_examples/neural_networks/plot_rbm_logistic_classification.html#sphx-glr-auto-examples-neural-networks-plot-rbm-logistic-classification -py)

Ergebnis

MNIST...Accuracy: 0.97 Fashion-MNIST...Accuracy: 0.79

Es wird lange dauern, bis die Anzahl der Epochen erhöht ist. Setzen Sie daher die Anzahl der Epochen auf 10 (keine Zeit, um die Aufgabe einzureichen ...).

Fazit

Ich habe versucht, den Quellcode zu kopieren und zu implementieren, aber es hat lange gedauert, ihn zu finden ... Ich muss mehr verstehen! Ich dachte. Danach eine Grafik? Ich dachte, es wäre einfacher zu verstehen, wenn ich die Verlustfunktion usw. anzeigen könnte.

Ich werde es von nun an nach und nach veröffentlichen. Ich möchte Docker und Web-bezogene ... Ich freue mich darauf, mit Dir zu arbeiten.