[PYTHON] Mémo Tensorflow [mis à jour de temps à autre]

Mémo Tensorflow

C'est un mémo que j'ai laissé derrière

Structure de Tensorflow

Concept de graphes, nœuds arithmétiques et tenseurs

Qu'est-ce qu'un graphique?

Une figure représentant une couche composée de plusieurs neurones φ(X * W + b)

Se compose de nœuds et de côtés reliant les nœuds Il existe des nœuds arithmétiques, des nœuds variables, des nœuds de support de presse, etc.

Qu'est-ce que Tensol

Montant parcourant le graphique

Tensol est un tableau ou une liste à n dimensions

Notation principale

Variable tf.Variable Produit Matrix tf.matmul Application de φ tf.nn.relu

Définition du graphe

graph.py

#Définition des variables pour mettre W
weights = tf.Variable()
#Définition des variables à mettre b
bias = tf.Variable()
#La fonction de la couche φ(X*W+b)Défini dans
#Ici φ utilise relu
#images est l'entrée que ce calque reçoit
#hidden1 est la sortie de cette couche

#1ère couche
hidden1 = tf.nn.relu(tf.matmul(images, weights) + bias)

#2ème couche
hidden2 = tf.nn.relu(tf.matmul(hidden1,weights) + bias)
#images, weights, bias,hidden1 est un tenseur

Définition variable

Initialisation variable

init.py

w = tf.Variable(tf.random_norml([784, 200], stddev = 0.35), name = "weights")
b  =tf.Variable(tf.zeros([200], name = "biases")

#Une opération qui initialise cette variable
#Mise en garde! Il n'a pas encore été exécuté, juste un nœud a été ajouté.
init_op = tf.initialize_all_variables()


#Appelez cette initialisation après le lancement du modèle
#Le modèle défini fonctionne pour la première fois dans Session.
#Utilisez courir pour appeler
with tf.Session() as sess:
    # Run the init operation.
    sess.run(init_op)

** Sauvegarde et restauration des variables

save.py

#Créer une variable
v1 = tf.variable(..., name = "v1")
v2 = tf.variable(..., name = "v2")

#Initialiser les variables init_noeud op
init_op = tf.initalize_all_variables()
#Enregistrer toutes les variables,Ajouter un nœud de sauvegarde à restaurer
saver = tf.train.Saver()

#Après le lancement du modèle, l'initialisation des variables, quelques travaux
#Enregistrer les variables sur le disque
with tf.Session() as sess:
  sess.run(init_op)
  #Faites quelque chose avec le modèle
  ##########
  
  #Enregistrer les variables sur le disque
  save_path = saver.save(sess, "/tmp/model.ckpt")
  print("Modef saved in file: %s" % save_path)

  #Restauration variable
  saver.retore(sess, "/tmp/model.ckpt")
  print ("Modell restored")

Optimisation des paramètres (formation)

Optimisation des paramètres (poids et biais)

1. Construisez un graphique et calculez la sortie avec les données d'entrée dans le graphique
2. Comparez la sortie avec la bonne réponse. Utiliser la fonction de perte pour la comparaison
3. Utilisez Gradient Descent pour modifier la valeur de la fonction de perte à une valeur plus petite
4. Calculez la sortie avec les nouveaux paramètres. Répétez jusqu'à ce que la fonction de perte soit petite

Fonctions principales

GradientDescentOptimizer() Opération d'optimisation pour l'optimisation des paramètres. Optimiser la fonction de perte avec cet optimiseur

opt.py

###Dans le cas de la prédiction numérique###
 loss = tf.reduce_mean(tf.square(y - y_data))
#Taux d'apprentissage 0.Descente de gradient à 5
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

###En cas de classement###
y_ = tf.placeholder("float", [None , 10])
cross_enttopy = -tf.reduce_sum(y_ * tf.log(y))
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(cross_entropy)