[PYTHON] Tensorflow-Memo [von Zeit zu Zeit aktualisiert]

Tensorflow-Memo

Es ist ein Memo, das ich zurückgelassen habe

Struktur des Tensorflusses

Konzept von Graphen, arithmetischen Knoten und Tensoren

Was ist ein Graph?

Eine Figur, die eine Schicht darstellt, die aus mehreren Neuronen besteht φ(X * W + b)

Besteht aus Knoten und Seiten, die die Knoten verbinden Es gibt arithmetische Knoten, variable Knoten, Druckmaschinenknoten usw.

Was ist Tensol?

Menge, die durch das Diagramm fließt

Tensol ist ein n-dimensionales Array oder eine Liste

Hauptnotation

Variable tf.Variable Matrixprodukt tf.matmul Anwendung von φ tf.nn.relu

Diagrammdefinition

graph.py

#Definition der Variablen für W.
weights = tf.Variable()
#Definition der zu setzenden Variablen b
bias = tf.Variable()
#Die Funktion der Schicht φ(X*W+b)Definiert in
#Hier verwendet φ relu
#Bilder ist die Eingabe, die diese Ebene empfängt
#hidden1 ist die Ausgabe dieser Ebene

#1. Schicht
hidden1 = tf.nn.relu(tf.matmul(images, weights) + bias)

#2. Schicht
hidden2 = tf.nn.relu(tf.matmul(hidden1,weights) + bias)
#images, weights, bias,hidden1 ist ein Tensor

Variablendefinition

Variable Initialisierung

init.py

w = tf.Variable(tf.random_norml([784, 200], stddev = 0.35), name = "weights")
b  =tf.Variable(tf.zeros([200], name = "biases")

#Eine Operation, die diese Variable initialisiert
#Hinweis! Es wurde noch nicht ausgeführt, nur ein Knoten wurde hinzugefügt.
init_op = tf.initialize_all_variables()


#Rufen Sie diese Initialisierung nach dem Start des Modells auf
#Das definierte Modell funktioniert zum ersten Mal in der Sitzung.
#Verwenden Sie run, um aufzurufen
with tf.Session() as sess:
    # Run the init operation.
    sess.run(init_op)

** Speichern und Wiederherstellen von Variablen

save.py

#Erstellen Sie eine Variable
v1 = tf.variable(..., name = "v1")
v2 = tf.variable(..., name = "v2")

#Variablen initialisieren init_Op-Knoten
init_op = tf.initalize_all_variables()
#Speichern Sie alle Variablen,Fügen Sie zum Wiederherstellen einen Sicherungsknoten hinzu
saver = tf.train.Saver()

#Nach dem Starten des Modells die Variablen initialisieren und einige Arbeiten ausführen
#Speichern Sie Variablen auf der Festplatte
with tf.Session() as sess:
  sess.run(init_op)
  #Mach etwas mit dem Modell
  ##########
  
  #Speichern Sie Variablen auf der Festplatte
  save_path = saver.save(sess, "/tmp/model.ckpt")
  print("Modef saved in file: %s" % save_path)

  #Variable Wiederherstellung
  saver.retore(sess, "/tmp/model.ckpt")
  print ("Modell restored")

Parameteroptimierung (Training)

Parameteroptimierung (Gewicht und Vorspannung)

1. Erstellen Sie ein Diagramm und berechnen Sie die Ausgabe mit den Eingabedaten im Diagramm
2. Vergleichen Sie die Ausgabe mit der richtigen Antwort. Verwenden Sie zum Vergleich die Verlustfunktion
3. Verwenden Sie den Gradientenabstieg, um den Wert der Verlustfunktion auf einen kleineren Wert zu ändern
4. Berechnen Sie die Ausgabe mit den neuen Parametern. Wiederholen, bis die Verlustfunktion klein ist

Hauptfunktionen

GradientDescentOptimizer() Optimierungsvorgang zur Parameteroptimierung. Optimieren Sie die Verlustfunktion mit diesem Optimierer

opt.py

###Im Fall der numerischen Vorhersage###
 loss = tf.reduce_mean(tf.square(y - y_data))
#Lernrate 0.Gefälle bei 5
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

###Im Falle einer Klassifizierung###
y_ = tf.placeholder("float", [None , 10])
cross_enttopy = -tf.reduce_sum(y_ * tf.log(y))
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(cross_entropy)