[PYTHON] Tiefes Lernen der Verstärkung 2 Implementierung des Lernens der Verstärkung

Aidemy　2020/11/22

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur KI-Fachschule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der zweite Beitrag von Deep Strengthing Learning. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Implementierung von verbessertem Lernen

Implementierung von verbessertem Lernen

Schaffung einer Umgebung

-In dem Kapitel "Stärkung des Lernens" wurde die Umgebung usw. von mir selbst definiert, aber dieses Mal werden wir die Umgebung usw. mithilfe der Bibliothek erstellen, die verschiedene Umgebungen zur Stärkung des Lernens vorbereitet. -Die zu verwendende Bibliothek ist __ "keras-rl" __, die aus Keras und __OpenAIGym (Gym) __ besteht. Dieses Mal werden wir dies verwenden, um __Cartpole Demo __ mit DQN zu lernen.

・ Erstellen Sie zunächst environment. Die Methode ist nur __ "env = gym.make ()" __. Geben Sie den Umgebungstyp im Argument an. Die Umgebung der Wagenstange wird als __ "" CartPole-v0 "" __ angegeben. Danach kann es durch Zugriff auf die env-Instanz betrieben werden. -In dieser Wagenstange gibt es zwei Aktionen: __ "Wagen nach rechts bewegen" und "Wagen nach links bewegen" __ und um diese __ "env.action_space.n" zu erhalten Sie können __ verwenden.

・ Code

Ein Modell bauen

• Sobald die Umgebung erstellt wurde, verwenden Sie die Keras-Funktion, um ein __multilayer-neuronales Netzwerk __ aufzubauen. Das Modell wird mit dem sequentiellen Modell erstellt. Als nächstes transformiert __Flatten () __ eine mehrdimensionale Eingabe in eine Dimension. Verwenden Sie für die Eingabeform "input_shape" __ "env.observation_space.shape" __, um den aktuellen Status der Wagenstange anzugeben.
• Fügen Sie Ebenen mit __ "model.add ()" __ hinzu. Die vollständig verbundene Schicht ist dicht und die Aktivierungsfunktion wird durch Activation () angegeben. Geben Sie "relu", "linear" usw. als Argumente an.

・ Code

Agenteneinstellungen 1 Verlauf und Kennzahlen

-Hier wird die __agent-Einstellung __ ausgeführt, die den Hauptteil des erweiterten Lernens darstellt. Stellen Sie zunächst die für diese Einstellung erforderliche __history __ und policy __ ein. (Geschichte ist "Geschichte dessen, was Sie in der Vergangenheit getan haben") - Verlauf __ kann mit __ "Sequentieller Speicher (Limit, Fensterlänge)" __ eingestellt werden. limit ist die Anzahl der zu speichernden Speicher. -Für policy verwenden Sie __ "BoltzmannQPolicy ()" __, wenn Sie die Boltzmann-Richtlinie verwenden, und __ "EpsGreedyQPolicy ()" __, wenn Sie die ε-gierige Methode anwenden.

・ Code

Agenteneinstellungen 2

• Richten Sie einen Agenten anhand des Verlaufs und der Kennzahlen im vorherigen Abschnitt ein. Rufen Sie __ "DQNAgent ()" __ auf, das den DQN-Algorithmus implementiert, und geben Sie die folgenden Argumente an. -In den Argumenten Modell __ "Modell" __, Verlauf __ "Speicher" __, Richtlinie __ "Richtlinie" __, Anzahl der Aktionen __ "nb_actions" __ sollte angegeben werden, wie viele Schritte am Anfang nicht zum verstärkten Lernen verwendet werden sollten Stellen Sie das angegebene __ "nb_steps_warmup" __ ein. -Wenn Sie das oben Gesagte in eine Variable namens "dqn" einfügen, geben Sie die Agentenlernmethode mit __ "dqn.compile ()" __ an. Die __optimierungsfunktion __ kann als erstes Argument angegeben werden, und die durch metrics dargestellte Bewertungsfunktion kann als zweites Argument angegeben werden.

・ Code (verwenden Sie den im vorherigen Abschnitt für Modell usw.)

Test durchführen

• Um den dqn-Agenten im vorherigen Abschnitt zu trainieren, verwenden Sie __ "dqn.fit ()" __. Als Argumente environment (env im Code), Anzahl der Episoden __ "nb_steps" __, ob visualisiert werden soll __ "visualisieren" __, ob Protokolle ausgegeben werden sollen __ "ausführlich" __ Gibt es. -Wenn Sie den Agenten lernen lassen, führen Sie diesen test aus. Der Test führt den Agenten aus und bewertet, wie viel Belohnung er tatsächlich erhält. Dies kann mit __ "dqn.test ()" __ erfolgen. Das Argument ist dasselbe wie "dqn.fit ()", aber nur die Anzahl der Folgen ist __ "nb_episodes" __.

Zusammenfassung

-Verwenden Sie keras-rl, wenn Sie mithilfe der Bibliothek erweitertes Lernen durchführen.

• Nachdem Sie die Umgebung mit __ "gym.make ()" __ erstellt haben, erstellen Sie ein Modell und fügen Sie Ebenen hinzu. Stellen Sie außerdem __history __ und __policy __ ein und erstellen Sie damit einen Agenten.
• Trainieren Sie den erstellten dqn-Agenten mit __ "dqn.fit ()" __ und testen Sie ihn mit __ "dqn.test ()" __.

Diese Zeit ist vorbei. Vielen Dank, dass Sie so weit gelesen haben.