Apprentissage automatique

table des matières Chapitre 1: Modèle de régression linéaire [Chapitre 2: Modèle de régression non linéaire] (https://qiita.com/matsukura04583/items/baa3f2269537036abc57) [Chapitre 3: Modèle de régression logistique] (https://qiita.com/matsukura04583/items/0fb73183e4a7a6f06aa5) [Chapitre 4: Analyse des composants principaux] (https://qiita.com/matsukura04583/items/b3b5d2d22189afc9c81c) [Chapitre 5: Algorithme 1 (méthode de voisinage k (kNN))] (https://qiita.com/matsukura04583/items/543719b44159322221ed) [Chapitre 6: Algorithme 2 (k-means)] (https://qiita.com/matsukura04583/items/050c98c7bb1c9e91be71) [Chapitre 7: Support Vector Machine] (https://qiita.com/matsukura04583/items/6b718642bcbf97ae2ca8)

Chapitre 2: Modèle de régression non linéaire

Description du modèle de régression non linéaire

Effectuer une modélisation de régression non linéaire pour les phénomènes inhérents aux structures non linéaires complexes
Limité si la structure des données peut être capturée linéairement
Besoin d'un mécanisme pour capturer les structures non linéaires

Méthode d'expansion de base
En tant que fonction de régression, nous utilisons une fonction non linéaire connue appelée fonction de base et une combinaison linéaire de vecteurs de paramètres.
Les paramètres inconnus sont estimés par la méthode des moindres carrés ou la méthode la plus probable comme dans le modèle de régression linéaire.
y_i=f(x_i)+\epsilon_i

Ce n'est pas très différent du modèle linéaire, juste le mappage linéaire est multiplié par la partie $ \ phi $ pour le rendre non linéaire.

Fonctions de base couramment utilisées
Fonction polygone
Fonction de base gaussienne
Fonction spline / fonction spline B
Régression non linéaire basée sur une fonction de base unidimensionnelle
Régression non linéaire basée sur une fonction de base bidimensionnelle
Sous-ajustement et sur-ajustement
Un modèle pour lequel une erreur suffisamment petite ne peut pas être obtenue pour les données d'apprentissage → Non entraîné
(Contre-mesure 1) Utilisez un modèle avec une expressivité élevée car l'expressivité du modèle est faible.
(Contre-mesure 2) ** Supprimer les fonctions de base inutiles (variables) ** pour supprimer l'expressivité
(Contre-mesure 3) Supprimez l'expressivité en utilisant la méthode de régularisation

Les deux derniers sont des moyens d'ajuster la complexité du modèle

Supprimez les fonctions de base inutiles
La complexité du modèle change en fonction du nombre, de la position et de la bande passante des fonctions de base
Si vous préparez de nombreuses fonctions de base pour le problème que vous souhaitez résoudre, des problèmes de surapprentissage se produiront, alors préparez les fonctions de base appropriées (sélectionnez par CV, etc.)
Méthode de régularisation (méthode de pénalisation)
Minimiser "une fonction qui impose un terme de régularisation (terme de pénalité) dont la valeur augmente avec la complexité du modèle"
Terme de régularisation (terme de pénalité)
Il existe plusieurs types en fonction de la forme, et chacun a des propriétés d'estimation différentes.
Paramètres de régularisation (lissage)
Ajuster la douceur de la courbe du modèle ▶ Besoin de décider correctement
Rôle du terme de régularisation (terme de pénalité)
Aucun ▶ Estimation du carré minimum
Utiliser la norme L2 ▶ ** Estimation de la crête </ font> **

Utiliser la norme L1 ▶ ** Estimation au lasso </ font> **

Rôle du parater régularisé

Petite ▶ Grande contrainte

Large ▶ Petite surface de contrainte

Performances de généralisation
Performances de prédiction non seulement pour les entrées utilisées pour l'apprentissage, mais aussi pour les nouvelles entrées qui n'ont jamais été vues auparavant
Un modèle avec de bonnes performances est un modèle avec une petite erreur de généralisation (erreur de test) (pas une erreur d'apprentissage)
L'erreur de généralisation est généralement estimée en mesurant les performances avec des données de validation collectées séparément des données d'entraînement
Décomposition Biais / Variance (Reference) Bias-Variant Decomposition: Machine Learning Performance Evaluation

Si votre modèle est désappris ou surentraîné dans les données
L'erreur d'entraînement et l'erreur de test sont petites ▶ Possibilité de modèle généralisé
Petite erreur de formation mais grande erreur de test ▶ Superapprentissage
Ni l'erreur de formation ni l'erreur de test ne deviennent minimes ▶ Non appris
Dans le cas de la régression, la solution est obtenue explicitement (en comparant les valeurs d'erreur d'apprentissage et d'erreur d'apprentissage) 52 Modèle de régression non linéaire
Méthode Holdout
Divisez les données finies en deux parties, une pour la formation et une pour les tests, et utilisez-les pour estimer la «précision de la prédiction» et le «taux d'erreur».
Si vous augmentez le nombre pour l'apprentissage, le nombre pour les tests diminuera et la précision d'apprentissage s'améliorera, mais l'exactitude de l'évaluation des performances se détériorera.
Au contraire, si le nombre de tests est augmenté, la quantité d'apprentissage est réduite, de sorte que la précision de l'apprentissage elle-même se détériore.
Il y a un inconvénient: il ne donne pas une bonne évaluation des performances à moins qu'il y ait une grande quantité de données à portée de main. Par exemple, si vous le divisez en deux, il y a un risque que les données perdues soient envoyées à un seul d'entre eux.
Dans le modèle de régression non linéaire basé sur la méthode d'expansion de base, le nombre, la position, la valeur de bande passante et les paramètres de réglage de la fonction de base sont déterminés par le modèle qui réduit la valeur d'exclusion.53 Modèle de régression non linéaire

Validation croisée

Les données de vérification et les données d'apprentissage suivantes sont séparées pour chaque itérateur et le modèle est préparé. Voici un exemple de division des données en 5 parties pour la formation et l'évaluation. L'important est de ne pas couvrir les données de vérification et les données de formation.

Même si la précision est de 70% lorsqu'elle est vérifiée par la méthode de vérification des retenues et de 65% pour le CV, le CV est utilisé pour estimer les performances de généralisation. La validation croisée a des performances de généralisation plus élevées que la méthode de vérification d'exclusion.

(Entraine toi)

Google Drive Mount

from google.colab import drive
drive.mount('/content/drive')

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

%matplotlib inline

#paramètres Seaborn
sns.set()
#Changement de fond
sns.set_style("darkgrid", {'grid.linestyle': '--'})
#Taille(Changement d'échelle)
sns.set_context("paper")

n=100

def true_func(x):
    z = 1-48*x+218*x**2-315*x**3+145*x**4
    return z 

def linear_func(x):
    z = x
    return z 
#Générer des données bruyantes à partir de vraies fonctions

#Génération de données à partir d'une vraie fonction
data = np.random.rand(n).astype(np.float32)
data = np.sort(data)
target = true_func(data)

#Ajoute du bruit
noise = 0.5 * np.random.randn(n) 
target = target  + noise

#Dessiner des données avec du bruit

plt.scatter(data, target)

plt.title('NonLinear Regression')
plt.legend(loc=2)

from sklearn.linear_model import LinearRegression

clf = LinearRegression()
data = data.reshape(-1,1)
target = target.reshape(-1,1)
clf.fit(data, target)

p_lin = clf.predict(data)

plt.scatter(data, target, label='data')
plt.plot(data, p_lin, color='darkorange', marker='', linestyle='-', linewidth=1, markersize=6, label='linear regression')
plt.legend()
print(clf.score(data, target))

from sklearn.kernel_ridge import KernelRidge

clf = KernelRidge(alpha=0.0002, kernel='rbf')
clf.fit(data, target)

p_kridge = clf.predict(data)

plt.scatter(data, target, color='blue', label='data')

plt.plot(data, p_kridge, color='orange', linestyle='-', linewidth=3, markersize=6, label='kernel ridge')
plt.legend()
#plt.plot(data, p, color='orange', marker='o', linestyle='-', linewidth=1, markersize=6)

#Ridge

from sklearn.metrics.pairwise import rbf_kernel
from sklearn.linear_model import Ridge

kx = rbf_kernel(X=data, Y=data, gamma=50)
#KX = rbf_kernel(X, x)

#clf = LinearRegression()
clf = Ridge(alpha=30)
clf.fit(kx, target)

p_ridge = clf.predict(kx)

plt.scatter(data, target,label='data')
for i in range(len(kx)):
    plt.plot(data, kx[i], color='black', linestyle='-', linewidth=1, markersize=3, label='rbf', alpha=0.2)

#plt.plot(data, p, color='green', marker='o', linestyle='-', linewidth=0.1, markersize=3)
plt.plot(data, p_ridge, color='green', linestyle='-', linewidth=1, markersize=3,label='ridge regression')
#plt.legend()

print(clf.score(kx, target))

from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
#PolynomialFeatures(degree=1)

deg = [1,2,3,4,5,6,7,8,9,10]
for d in deg:
    regr = Pipeline([
        ('poly', PolynomialFeatures(degree=d)),
        ('linear', LinearRegression())
    ])
    regr.fit(data, target)
    # make predictions
    p_poly = regr.predict(data)
    # plot regression result
    plt.scatter(data, target, label='data')
    plt.plot(data, p_poly, label='polynomial of degree %d' % (d))

#Lasso

from sklearn.metrics.pairwise import rbf_kernel
from sklearn.linear_model import Lasso

kx = rbf_kernel(X=data, Y=data, gamma=5)
#KX = rbf_kernel(X, x)

#lasso_clf = LinearRegression()
lasso_clf = Lasso(alpha=10000, max_iter=1000)
lasso_clf.fit(kx, target)

p_lasso = lasso_clf.predict(kx)

plt.scatter(data, target)

#plt.plot(data, p, color='green', marker='o', linestyle='-', linewidth=0.1, markersize=3)
plt.plot(data, p_lasso, color='green', linestyle='-', linewidth=3, markersize=3)

print(lasso_clf.score(kx, target))

from sklearn import model_selection, preprocessing, linear_model, svm

# SVR-rbf
clf_svr = svm.SVR(kernel='rbf', C=1e3, gamma=0.1, epsilon=0.1)
clf_svr.fit(data, target)
y_rbf = clf_svr.fit(data, target).predict(data)
 
# plot

plt.scatter(data, target, color='darkorange', label='data')
plt.plot(data, y_rbf, color='red', label='Support Vector Regression (RBF)')
plt.legend()
plt.show()

`résultat`


/usr/local/lib/python3.6/dist-packages/sklearn/utils/validation.py:724: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().
  y = column_or_1d(y, warn=True)
/usr/local/lib/python3.6/dist-packages/sklearn/utils/validation.py:724: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().
  y = column_or_1d(y, warn=True)

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data, target, test_size=0.1, random_state=0)

from keras.callbacks import EarlyStopping, TensorBoard, ModelCheckpoint

cb_cp = ModelCheckpoint('/content/drive/My Drive/study_ai_ml/skl_ml/out/checkpoints/weights.{epoch:02d}-{val_loss:.2f}.hdf5', verbose=1, save_weights_only=True)
cb_tf  = TensorBoard(log_dir='/content/drive/My Drive/study_ai_ml/skl_ml/out/tensorBoard', histogram_freq=0)
def relu_reg_model():
    model = Sequential()
    model.add(Dense(10, input_dim=1, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='relu'))
    model.add(Dense(1000, activation='linear'))
#     model.add(Dense(100, activation='relu'))
#     model.add(Dense(100, activation='relu'))
#     model.add(Dense(100, activation='relu'))
#     model.add(Dense(100, activation='relu'))
    model.add(Dense(1))

    model.compile(loss='mean_squared_error', optimizer='adam')
    return model

from keras.models import Sequential
from keras.layers import Input, Dense, Dropout, BatchNormalization
from keras.wrappers.scikit_learn import KerasRegressor

# use data split and fit to run the model
estimator = KerasRegressor(build_fn=relu_reg_model, epochs=100, batch_size=5, verbose=1)

history = estimator.fit(x_train, y_train, callbacks=[cb_cp, cb_tf], validation_data=(x_test, y_test))

`résultat`


WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:66: The name tf.get_default_graph is deprecated. Please use tf.compat.v1.get_default_graph instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:541: The name tf.placeholder is deprecated. Please use tf.compat.v1.placeholder instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:4432: The name tf.random_uniform is deprecated. Please use tf.random.uniform instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/optimizers.py:793: The name tf.train.Optimizer is deprecated. Please use tf.compat.v1.train.Optimizer instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:1033: The name tf.assign_add is deprecated. Please use tf.compat.v1.assign_add instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:1020: The name tf.assign is deprecated. Please use tf.compat.v1.assign instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:3005: The name tf.Session is deprecated. Please use tf.compat.v1.Session instead.

Train on 90 samples, validate on 10 samples
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:190: The name tf.get_default_session is deprecated. Please use tf.compat.v1.get_default_session instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:197: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:207: The name tf.global_variables is deprecated. Please use tf.compat.v1.global_variables instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:216: The name tf.is_variable_initialized is deprecated. Please use tf.compat.v1.is_variable_initialized instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:223: The name tf.variables_initializer is deprecated. Please use tf.compat.v1.variables_initializer instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/callbacks.py:1122: The name tf.summary.merge_all is deprecated. Please use tf.compat.v1.summary.merge_all instead.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/callbacks.py:1125: The name tf.summary.FileWriter is deprecated. Please use tf.compat.v1.summary.FileWriter instead.

Epoch 1/100
90/90 [==============================] - 2s 17ms/step - loss: 1.7399 - val_loss: 0.4522

Epoch 00001: saving model to /content/drive/My Drive/study_ai_ml/skl_ml/out/checkpoints/weights.01-0.45.hdf5
---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-19-26d4341f0e70> in <module>()
      6 estimator = KerasRegressor(build_fn=relu_reg_model, epochs=100, batch_size=5, verbose=1)
      7 
----> 8 history = estimator.fit(x_train, y_train, callbacks=[cb_cp, cb_tf], validation_data=(x_test, y_test))

8 frames
/usr/local/lib/python3.6/dist-packages/h5py/_hl/files.py in make_fid(name, mode, userblock_size, fapl, fcpl, swmr)
    146         fid = h5f.create(name, h5f.ACC_EXCL, fapl=fapl, fcpl=fcpl)
    147     elif mode == 'w':
--> 148         fid = h5f.create(name, h5f.ACC_TRUNC, fapl=fapl, fcpl=fcpl)
    149     elif mode == 'a':
    150         # Open in append mode (read/write).

h5py/_objects.pyx in h5py._objects.with_phil.wrapper()

h5py/_objects.pyx in h5py._objects.with_phil.wrapper()

h5py/h5f.pyx in h5py.h5f.create()

OSError: Unable to create file (unable to open file: name = '/content/drive/My Drive/study_ai_ml/skl_ml/out/checkpoints/weights.01-0.45.hdf5', errno = 2, error message = 'No such file or directory', flags = 13, o_flags = 242)

y_pred = estimator.predict(x_train)

`résultat`


90/90 [==============================] - 0s 1ms/step

plt.title('NonLiner Regressions via DL by ReLU')
plt.plot(data, target, 'o')
plt.plot(data, true_func(data), '.')
plt.plot(x_train, y_pred, "o", label='predicted: deep learning')
#plt.legend(loc=2)

print(lasso_clf.coef_)

`résultat`


[-0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0.
 -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0.
 -0. -0. -0. -0. -0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.
  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.
  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.
  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.]

Sites connexes

Chapitre 1: Modèle de régression linéaire [Chapitre 2: Modèle de régression non linéaire] (https://qiita.com/matsukura04583/items/baa3f2269537036abc57) [Chapitre 3: Modèle de régression logistique] (https://qiita.com/matsukura04583/items/0fb73183e4a7a6f06aa5) [Chapitre 4: Analyse des composants principaux] (https://qiita.com/matsukura04583/items/b3b5d2d22189afc9c81c) [Chapitre 5: Algorithme 1 (méthode de voisinage k (kNN))] (https://qiita.com/matsukura04583/items/543719b44159322221ed) [Chapitre 6: Algorithme 2 (k-means)] (https://qiita.com/matsukura04583/items/050c98c7bb1c9e91be71) [Chapitre 7: Support Vector Machine] (https://qiita.com/matsukura04583/items/6b718642bcbf97ae2ca8)

[PYTHON] <Cours> Machine learning Chapitre 2: Modèle de régression non linéaire

Apprentissage automatique

Chapitre 2: Modèle de régression non linéaire

Description du modèle de régression non linéaire

Validation croisée

(Entraine toi)

résultat

résultat

résultat

résultat

`résultat`

`résultat`

`résultat`

`résultat`