[PYTHON] Verstärkungslernen 2 Markov-Entscheidungsprozess, Belman-Gleichung

Aidemy　2020/11/15

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der zweite Beitrag zur Stärkung des Lernens. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Komponenten des verbesserten Lernens ・ Über den Markov-Entscheidungsprozess ・ Wert, Gewinn, Zustand ・ Über die beste Politik ・ Über die Bellman-Gleichung

Komponenten des verstärkenden Lernens

N-Arm-Problem und nächste Schritte

-Das in Kapitel 1 behandelte Problem mit dem N-Arm-Band ist ein einfacheres Problem als das allgemeine Problem, da es __ "sofortige Belohnung" __ Punkte und __ "Status ändert sich nicht in Abhängigkeit von der Aktion des Agenten" . Getroffen. - Status__ steht für __Was ist der aktuelle Status der Umgebung. Es ist leicht zu verstehen, wenn man ein Brettspiel in Betracht zieht. Wenn der Spieler, der ein Agent ist, einen Zug des Gegners in der Umgebung von Shogi ausführt, hat sich das Spielfeld gegenüber seinem vorherigen Zug geändert, sodass sich auch die nächste Aktion ändert. Zu diesem Zeitpunkt kann gesagt werden, dass sich der Status von __ "board" __ geändert hat.

• Wie ich bereits in Kapitel 1 angesprochen habe, besteht der ursprüngliche Zweck der Stärkung des Lernens darin, die __ verzögerte Belohnung __ zu maximieren, z. B. "das Spiel gewinnen" anstelle der sofortigen Belohnung. ・ Dieses Mal werden wir ein verstärkendes Lernen durchführen, das diese Konzepte von __ "Zustand" und "Zeit" __ beinhaltet.

Über das Modell des verstärkenden Lernens

・ Intensiviertes Lernen ist __ "(1) Der Agent erhält den Status $ s_ {t} $ und bewirkt, dass die Aktion $ a_ {t} $ auf die Umgebung einwirkt." "Übergang" "③ Umgebung gibt dem Agenten $ r_ {t + 1} $" "④ Der Agent entscheidet die nächste Aktion $ a_ {t + 1} $ basierend auf dem Ergebnis von ②③" __ Es wird mit weitergehen. -__ "T" __ ist __ "Zeitschritt" __ und gibt an, wie oft die Operation ausgeführt wird. Dies ist die grundlegende Zeiteinheit für intensives Lernen.

Formulierung von Zuständen, Aktionen und Belohnungen

-Das Folgende ist eine Reihe von __Zuständen, die von der Umgebung übernommen werden können. S={s_{0},s_{1},s_{2},...}

• Ähnlich wird die __ Menge von Aktionen , die ein Agent ausführen kann, wie folgt ausgedrückt. A(s)={a_{0},a_{1},a_{2},...} - Belohnung__ "$ R_ {t + 1} $" im Zeitschritt "t + 1" wird wie folgt ausgedrückt. R_{t+1}=r(S_{t},A_{t},S_{t+1})

・ Wenn die Belohnung nach der obigen Formel berechnet wird, wird $ R_ {t + 1} $ als __Bewilligungsfunktion __ bezeichnet. Wie Sie aus dieser Belohnungsfunktion ersehen können, wird der zukünftige Zustand wahrscheinlich nur durch den aktuellen (t, t + 1) Zustand / Verhalten bestimmt und hat nichts mit dem früheren Verhalten zu tun. __ "Markov-Eigenschaft" genannt __.

Markov Entscheidungsprozess

Was ist der Markov-Entscheidungsprozess?

• Wie im vorherigen Abschnitt gezeigt, wird der zukünftige Status nur durch den aktuellen Status bestimmt, und die Aktionen __ werden als "Markov-Eigenschaft" bezeichnet. Und der Prozess des verstärkenden Lernens, der dies erfüllt, wird als "Markov-Bestimmungsprozess (MDP)" bezeichnet. -Der Markov-Prozess besteht aus einer Reihe von Zuständen __ "Zustandsraum $ S $" , einer Reihe von Aktionen __ "Aktionsraum $ A (s) $" __ und einer Wahrscheinlichkeitsvariablen __ "Anfangszustandsverteilung", die den Zustand zu Beginn darstellt. $ P {0} $ ”_ Wenn die Aktion $ a $ im Zustand $ s $ ausgeführt wird, ist die Übergangsrate der Wahrscheinlichkeit, der Zustand $ s '$ zu werden, “ Zustandsübergangswahrscheinlichkeit $ P (s' | s, a ) $ ”, “ Belohnungsfunktion $ r (s, a, s ') $ ” hat fünf Elemente.

-Die folgende Abbildung zeigt die diesmal verwendete Umgebung __ "Umgebung 1" __. Es wird gezeigt, dass es, wenn es von StateA ausgeht und Aktion X ausführt, mit einer Wahrscheinlichkeit von "0,7" zu StateB wechselt und mit einer Wahrscheinlichkeit von "0,3" zu StateA zurückkehrt. Wenn Sie in StateB "0.8" von actionX ziehen, erreichen Sie schließlich das Ziel (Ende).

・ In jedem Fall die oben genannten 5 Elemente__[s,s',a,p(s'|a,s),r(s,a,s')]Wie ausgedrückt wird"Zustandsübergangsdiagramm"__Das ist.(Welcher Zustand ist s jetzt, s'Welcher Zustand als nächstes zu gehen ist, a ist actionX oder Y, p(s'|a,s)Ist seine Wahrscheinlichkeit, r(s,a,s')Ist die Belohnung)

-Der folgende Code ist eine Zusammenfassung aller Zustandsübergangsdiagramme dieser Umgebung 1 als Array. Ersetzen Sie ein Array durch numerische Werte wie StateA = 0, StateB = 1, End = 2.

Einführung in das Konzept von Zeitzustand und Verhalten

• Da das Konzept der zeit noch nicht in die fünf Variablen des vorherigen Abschnitts eingeführt wurde, die die Komponenten des Markov-Bestimmungsprozesses sind, werden wir diese Zeitkonzepte einführen und formulieren. -Für den Zustandsraum S definieren Sie "$ S {t} ", das das Konzept der Zeit t enthält, und " A {t} ", das das Konzept der Zeit in Aktionen einführt. -Das in der Definition verwendete Array ist das __ "Zustandsübergangsdiagramm" __ im vorherigen Abschnitt. Da die __0. Spalte __ dieses Arrays "Zustand" ist, dh "aktueller (zum Zeitpunkt von t) Zustand", wird dies __ " S_ {t} " __ und ___2. Spalte __ ist "Aktion". Mit anderen Worten, es ist "Aktion zum Zeitpunkt t", also ist dies __ " A_ {t} $" . -Das Folgende ist eine Funktion, die $ A {t} $ zurückgibt und die Aktionen __ zusammenfasst, die der Agent in diesem Zustand ausführen kann, wenn $ S {t} $ übergeben wird.

-__ "action ()" __ Der an die Funktion übergebene __ "Status" __ ist der Status "$ S_ {t} ", und der __ "state_transition" __, auf den A verweist, ist der __state-Übergang. Zahl __. Da diese 0. Spalte " S_ {t} $" ist, beschreiben Sie, dass sich dieser Teil auf den Teil bezieht, der sich im selben Zustand wie der übergebene Zustand befindet, und __ "A [:, 2]" __ in der 2. Spalte Gibt eine Liste möglicher Aktionen $ A_ {t} $ zu diesem Zeitpunkt zurück, indem auf verwiesen wird. Zu diesem Zeitpunkt ist der Rückgabewert eine mögliche Aktion, daher darf er nicht dupliziert werden, dh er muss ein __Einzigartiges Element __ sein. Verwenden Sie dazu __ "np.unique ()" __.

-Für den Ausführungsteil ist der aktuelle Status __ "state = [1]" __, was anzeigt, dass er sich in Status B befindet. Wenn Sie sich den s-Teil (aktuellen Status) von state_transition ansehen, dh die zweite Spalte der Zeile, in der Spalte 0 [1], 0 oder 1 ist, wird gespeichert, sodass diese als Ergebnis der Funktion zurückgegeben werden.

Einführung in das Konzept der Zeit-andere

・ Hier werden die Anfangszustandsverteilung, die Zustandsübergangswahrscheinlichkeit und die Belohnungsfunktion durch Einbeziehung des Zeitkonzepts neu definiert. -Die Verteilung des Anfangszustands ist einfach und Sie können den Zustand $ S_ {0} $ definieren, wenn t = 0. -Die Zustandsübergangswahrscheinlichkeit wird nur durch den Markov-Bestimmungsprozess __ bestimmt, und der Zustand $ S {t + 1} $ zum Zeitpunkt $ t + 1 $ wird nur durch $ S {t} $ und $ A_ {t} $ bestimmt. , $ P (s '| s_ {t}, a_ {t}) $. -Für Belohnung __ $ R {t + 1} $ beim Übergang in den Zustand $ S {t + 1} $, $ R_ {t + 1} = r (s_ {t}, a_ {t}, Es kann durch s_ {t + 1}) $ dargestellt werden. Der folgende Code definiert diese Belohnungsfunktion.

-Für diese Funktion __ "R" __ übergeben Sie die oben genannten $ s_ {t}, a_ {t}, s_ {t + 1} $ als Argumente. Wenn __ bereits am Terminal ist, wird 0 zurückgegeben, da keine Belohnung vorhanden ist.

• Auch dieses Mal wird die Belohnung unter Bezugnahme auf "state_transition" zurückgegeben. Da sich reward jedoch in der __4. Spalte dieses Arrays befindet, wird der Status (die Zeile), der die Bedingungen erfüllt, extrahiert Sie können die 4. Spalte zurückgeben.

• Wie für den Ausführungsteil lautet der Status [1], after_state [2] und action [0]. __ "Derzeit in Status B bin ich zu End gekommen, indem ich Aktion X ausgeführt habe. __ __ Statusübergang zu diesem Zeitpunkt Sie können sich beziehen. In der state_transition ist es diesmal [1, 2, 0, 0,8, 100] in der 4. Zeile, sodass die Belohnung in der 4. Spalte ausgegeben wird. Die Zeit, die vom Anfang bis zum Ende einer Episodenaufgabe benötigt wird, heißt __ "Episode" __. Durch mehrmaliges Wiederholen des Zyklus "Verhalten → Zustandsänderung" wird der Zeitschritt fortgesetzt und eine Episode zusammengestellt.・ Im Modell des verstärkenden Lernens für diese eine Episode __ "Initialisieren Sie die Umgebung, lassen Sie den Agenten handeln und optimieren Sie das Verhaltensmodell basierend auf der erhaltenen Belohnung" __ Führen Sie dies mehrmals durch __ Auf diese Weise werden wir mit dem Lernen fortfahren.・ Es ist sehr einfach als Beispiel für ein Kartenspiel zu verstehen. Das Brett ändert sich abhängig von den Aktionen des Spielers in jeder Runde und die Aufgabe endet in Form von "Gewinnen oder Verlieren". Wenn Sie als eine Episode viele Male gegeneinander spielen, lernen Sie nach und nach den besten Zug. -Das Folgende ist die Funktion __ "T ()" __, die die Episode definiert. Diese Funktion ist __ "Übergeben des aktuellen Status und der aktuellen Aktion, Extrahieren des entsprechenden Status aus state_transition und Zurückgeben der Statusübergangswahrscheinlichkeit und des Status nach dem Übergang" __.

-Für den Definitionsteil von T wird __ [(0, Terminals)] __ zurückgegeben, wenn sich __ bereits an den Endpunkten (Terminals) befindet, da sich der Status nicht ändert. -Für X werden die Zeilen, die den übergebenen Argumenten entsprechen, wie im vorherigen Abschnitt extrahiert. Speichern Sie __ "3. Spalte (Zustandsübergangswahrscheinlichkeit)" __ und __ "1. Spalte (Zustand nach Übergang)" __ in dieser Zeile in A und __ "Tupel (Tupel) für alle möglichen Fälle. A [i,:]) ”__ zum Tupeln und Zurückkehren.

Wert / Gewinn / Staat

Belohnungen und Einnahmen

・ Bis zu diesem Punkt haben wir das Lernen der Verstärkung modelliert und definiert. Von hier aus betrachten wir __ "Was ist die Grundlage für die Suche nach der optimalen Richtlinie?" __. ・ Wenn Sie erwägen, __reward __ als Index zu verwenden, wird dies durch __ nur die Aktion unmittelbar vor __ bestimmt. __ "Auch wenn die Aktion zu diesem Zeitpunkt von geringem Wert ist, ist sie danach von großem Wert. Ich übersehen _. -Die Lösung hierfür ist __ "Gewinn" . Da das Einkommen aus __ der Summe der in einem bestimmten Zeitraum erzielten Belohnungen __ berechnet wird, können die Belohnungen nach __ berücksichtigt werden . ・ Wenn die Belohnung, die durch die Aktion $ a {t} $ zum Zeitpunkt t erhalten wird, __ "$ R {t} " __ ist, ist die Summe der Belohnungen innerhalb eines bestimmten Zeitraums der Gewinn __ " G {t}" $ " Kann nach folgender Formel berechnet werden. $ G_{t} =R_{t+1} + \gamma R_{t+2}+ \gamma^2 R_{t+3}+....= \displaystyle\sum_{\tau=0}^{\infty} \gamma^{\tau} R_{t+1+\tau} $

• $ \ Gamma $ heißt __ "Diskontsatz" __ und hat den Wert __ (0 bis 1) __. Dies bedeutet __ "wie viel die Belohnung, die Sie in Zukunft erhalten, der aktuelle Wert ist" __. Je näher er an 0 liegt, desto weniger finden Sie den zukünftigen Wert und je näher er an 1 liegt, desto mehr Gewicht haben Sie im zukünftigen Wert. Wird sein.

• Obwohl es verschiedene Methoden zur Berechnung der Gesamtprämie gibt, wird im Allgemeinen die __ "Summe der Rabattprämien" __ verwendet. Dies wird berechnet, indem der Durchschnitt __ der Gewinne von __ Zeit t bis zu einer bestimmten Zeit T berechnet wird und die Grenze von __ T __ genommen wird. -Die Summe der Rabattprämien kann durch zwei Funktionen wie folgt definiert werden.

-Für __ "take_single_action ()" __ ist dies die __ "Funktion zum Bestimmen des nächsten Zustands basierend auf der Übergangswahrscheinlichkeit" __. Als Code generiert zuerst __ "random.uniform (0,1)" __ eine Zufallszahl von 0 bis 1. Außerdem ist __cumulative Wahrscheinlichkeit "cumlative_probability" __ definiert. -In der for-Anweisung werden die mögliche Wahrscheinlichkeit __ "Wahrscheinlichkeit" __ und der nächste Zustand __ "next_state" __ aus dem übergebenen Zustand und der Aktion für jede Episode "T" und die kumulative Wahrscheinlichkeit "cumlative_probability" extrahiert. Fügen Sie "Wahrscheinlichkeit" für jede Episode hinzu, und wenn diese größer als "x" wird, beenden Sie die for-Anweisung und geben Sie an diesem Punkt "next_state" zurück.

-Für eine andere Funktion __ "berechne_Wert ()" __ ist dies die Funktion, die __ "Rabattprämiensumme" __ berechnet. Zunächst werden "state" und "action" sowie __discount belohnungssumme "sumg" __ definiert.

• Wiederholen Sie in der for-Anweisung __ für die Anzahl der __ Folgen. Diesmal ist es zweimal. In diesem Fall wird __ der nächste Zustand__ durch "take_single_action" definiert, und $ R_ {t + 1} $ wird mit diesem und __ "Zustand" "Aktion" __ zu diesem Zeitpunkt berechnet, und dies und Mit $ \ gamma ^ i $ multiplizieren und __sumg akkumulieren. Gehen Sie dann nach der Aktualisierung von "state" zur nächsten Episode und geben Sie die endgültige kumulierte Summe der Rabatte "sumg" zurück.

・ Ausführungsteil

Wertfunktion / Zustandswertfunktion

・ Bei der Methode wie der Methode im vorherigen Abschnitt, bei der __Reward als Bewertungsstandard der Richtlinie verwendet wird, wird R basierend auf der Wahrscheinlichkeit bestimmt. Je mehr __state-Zweige vorhanden sind, desto komplizierter wird die Berechnungsformel. Es gibt einen Nachteil, dass es __ endet. ・ Wenn Sie den erwarteten Wert von __reward __ verwenden, können die oben genannten Nachteile beseitigt werden. Der erwartete Wert der Belohnung, der alle Aktionen nach __ ab einem bestimmten Status berücksichtigt, wird als "Wert" oder __ "Statuswert" __ bezeichnet. __ Je besser die Richtlinie, desto größer der Statuswert __. ・ Durch die Einführung dieses Konzepts können "in einer bestimmten Richtlinie __ welcher Zustand besser ist __ verglichen werden" und "wenn ein bestimmter Zustand am Startpunkt steht, ist es möglich, das Gute und das Schlechte jeder __ Richtlinie __ zu vergleichen" Zwei Dinge sind möglich.

Suche nach der besten Politik

Optimale Politik

• Durch die Einführung der Funktion Statuswert __ im vorherigen Abschnitt ist es möglich geworden, das Gute und das Schlechte jeder Maßnahme __ zu vergleichen. ・ Beim Vergleich zweier Kennzahlen $ \ pi {1}, \ pi {2} $ -In allen Zuständen s des Zustandsraums S ist der Zustandswert $ V ^ {\ pi {1}} (s) $ $ V ^ {\ pi {2}} (s) $ __ oder mehr __ -In mindestens einem Zustand s des Zustandsraums S ist der Zustandswert $ V ^ {\ pi_ {1}} (s) $ größer als $ V ^ {\ pi_ {2}} (s) $ __ __

Wenn diese beiden gelten, können wir sagen, dass __ "$ \ pi_ {1} eine bessere Strategie ist als \ pi_ {2} $" __.

• Zu diesem Zeitpunkt sollte die beste Richtlinie unter allen Richtlinien vorhanden sein. Diese wird als __optimale Richtlinie __ bezeichnet und als $ \ pi ^ * $ ausgedrückt.

Aktionswert

-Die Statuswertfunktion ist __ "erwarteter Wert der Belohnung, wenn ein bestimmter Status gestartet wird" , aber in Wirklichkeit " Belohnung, wenn ein bestimmter Status gestartet wird und eine bestimmte Aktion ausgeführt wird". In vielen Fällen ist es besser, den Wert zu berücksichtigen, der action berücksichtigt, z. B. "erwarteter Wert". Der Wert zu diesem Zeitpunkt heißt __ "Aktionswert" __, und die Funktion, die den Aktionswert unter einer bestimmten Kennzahl angibt, heißt __ "Aktionswertfunktion" __. -Die Aktionswertfunktion kann als eine Funktion bezeichnet werden, die bestimmt, __ wie gut jede "Aktion" ist.

• Verwenden Sie als Formel die folgende Formel für __isometrische Reihen __. $a+ar + ar^2 + \cdots + ar^n = \large\frac{a(1 - r^n)}{1 - r}$

・ Die Aktionswertfunktion kann mit "a" als Belohnung und "r" als Gamma berechnet werden. Der Code dafür sieht folgendermaßen aus:

Optimale Zustandswertfunktion / optimale Aktionswertfunktion

• Von den "Zustandswertfunktionen" und "Aktionswertfunktionen", die wir bisher gesehen haben, wird jede Funktion, wenn sie der optimalen Richtlinie folgt, __ "optimale Zustandswertfunktion" und "optimale Aktionswertfunktion" __ genannt. .. Sie werden als "$ V ^ \ * (s) " bzw. " Q ^ \ * (s) $" ausgedrückt. ・ __ Sobald die optimale Zustandswertfunktion und die optimale Aktionswertfunktion erhalten sind __, ist es möglich zu wissen, welche Aktion die rentabelste Aktion ist. Wählen Sie daher immer die optimale Aktion aus __ "gierige Methode" _ Wählen Sie einfach _.

Bellman-Gleichung

Optimaler Zustandswert

-Für __, um die optimale Zustandswertfunktion zu finden, __ um jede Zustandswertfunktion zu finden und __ zu vergleichen. Gleiches gilt für die Aktionswertfunktion, daher fahren wir hier mit der Statuswertfunktion fort.

• Verwenden Sie __Bellemann-Gleichung __, um jede Zustandswertfunktion zu finden. Dies basiert auf der Idee, __ "einen relationalen Ausdruck der Wertfunktion zwischen dem Zustand s und dem Zustand s herzustellen, der sich infolge einer Aktion verschieben kann" __. -Die Belman-Gleichung kann verwendet werden, indem jede Funktion wie folgt als __ allmählicher Ausdruck __ festgelegt wird. V^{\pi}(s) =\displaystyle\sum_{\alpha \in A(s)}^{} \pi(a|s) \displaystyle\sum_{s' \in S}^{} P(s'|s,a)(r(s,a,s') + \gamma V^{\pi}(s'))

Q^{\pi}(s,a) =\displaystyle\sum_{s' \in S}^{} (P(s'|s,a) (r(s,a,s') + \displaystyle\sum_{a' \in A(s')}^{} \gamma \pi(a'|s') Q^{\pi}(s',a')))

-Hier steht $ \ pi (a | s) $ für __ die Wahrscheinlichkeit, dass eine Aktion ausgewählt wird __.

• Zum Beispiel wird in "Umgebung 1", wenn __ "s = StateB", "$ \ gamma $ = 0,8" und "nur ActionX ausführen" __, die Wertfunktion durch die Belman-Gleichung berechnet. $ V ^ \ pi (B) = 0,2 (-10 + \ gamma * V ^ \ pi (B)) + 0,8 (100 + \ gamma * 0) $ als Gleichung für $ V ^ \ pi (B) $ Löse es einfach. Einfacher ausgedrückt, __ "(Wahrscheinlichkeit, die Aktion auszulösen) x (Belohnung durch Aktion + $ \ gamma $ x Zustand nach Bewegung)" __ wird für alle Fälle berechnet und die __ Summe __ Sie können die Gleichung mit lösen.

・ Umgebung 1

Bellman optimale Gleichung

• Natürlich kann die Belman-Gleichung auf die oben erwähnte optimale Zustandsfunktion und optimale Verhaltensfunktion angewendet werden. Daher wird __ die Belman-Gleichung __, wenn immer die optimale Politik angewendet wird, __ "Bellman-optimale Gleichung" __ genannt.
• Wenn Sie beispielsweise vergleichen, welche der Richtlinien "Immer Aktion X ergreifen $ \ pi_ {1} $" und "Richtlinie immer Aktion Y ergreifen $ \ pi_ {2} $" die bessere Richtlinie in Umgebung 1 ist, __ Gewinn (Rabatt) Belohnungssumme) Mit der Funktion __ "caluclate_value ()" __, die __ berechnet, kann dies wie folgt ausgedrückt werden.

-__ Q_optimum__ repräsentiert den maximalen Gewinn zu diesem Zeitpunkt und Q_pi repräsentiert die Richtlinie zu diesem Zeitpunkt. Da Q_pi [0 0] ist, ist es besser, _measure $ \ pi {1} $ zu nehmen, was immer ActionX erfordert.

Zusammenfassung

-Die Belohnung "R_ {t + 1}" im Zeitschritt "t + 1" wird ausgedrückt als $ r (S_ {t}, A_ {t}, S_ {t + 1}) $. Zu diesem Zeitpunkt wird die Tatsache, dass der zukünftige Zustand (t + 1) nur durch den aktuellen Zustand und das Verhalten (t) bestimmt wird, als "Markov-Eigenschaft" bezeichnet, und der Prozess des Verstärkungslernens, der dies erfüllt, wird als Markov-Bestimmungsprozess bezeichnet. ・ Bei der Bestimmung von Markov werden die Komponenten durch ein Array wie [s, s ', a, p (s' | a, s), r (s, a, s ')] im "Zustandsübergangsdiagramm" dargestellt. ". Wenn das Konzept der Zeit eingeführt wird, wird es durch $ [S_ {t}, S_ {t + 1}, A_ {t}, S_ {0}, R_ {t + 1}] $ dargestellt. -Die Zeit vom Anfang bis zum Ende einer Aufgabe wird als "Episode" bezeichnet. Beim intensiven Lernen wird diese Episode wiederholt gelernt, indem "die Umgebung initialisiert und basierend auf den Belohnungen der Aktionen des Agenten optimiert wird". ・ Berücksichtigen Sie bei der tatsächlichen Stärkung des Lernens die optimale Politik, die auf "Gewinn" basiert und nicht nur eine sofortige, sondern auch eine verspätete Entschädigung umfasst. Der Umsatz wird anhand der "Rabattprämiensumme" berechnet, die die Summe der Prämien zu jedem Zeitschritt multipliziert mit dem "Diskontsatz $ \ gamma $" ist.

• Bei der Suche nach der optimalen Richtlinie erhöht sich außerdem der Rechenaufwand, wenn der Gewinn so berechnet wird, wie er ist. Daher ist es besser, die "Statuswertfunktion" und die "Aktionswertfunktion" zu berechnen, die die erwarteten Werte der Belohnung sind. Die "Bellman-Gleichung" wird verwendet, um diese zu finden. Wenn die Belman-Gleichung für die Zustandswertfunktion verwendet wird, wird sie unter Verwendung von "Wahrscheinlichkeit, Aktion zu verursachen", "Belohnung" und "Zustand nach Bewegung" berechnet.

Diese Zeit ist vorbei. Vielen Dank, dass Sie so weit gelesen haben.