[PYTHON] [Unity] So führen Sie ML-Agents Release 8 auch für transzendentale Anfänger aus [Windows]

Haftungsausschluss

Die Person, die diesen Artikel betrachtet, ist ein transzendentaler Anfänger, daher bin ich nicht für Probleme verantwortlich. Darüber hinaus wird davon ausgegangen, dass Sie zugestimmt haben, wenn Sie den Artikel lesen und fortfahren. Auch andere Benutzer als Windows werden diesmal nicht behandelt.

Versionsbestätigung

ML-Agents wird mit relativ hoher Geschwindigkeit aktualisiert, es handelt sich jedoch um die neueste Version ab 2020/10/19 [ML-Agents Release 8]( Ich möchte die Umgebung von https://github.com/Unity-Technologies/ml-agents/releases/tag/release_8) erstellen und testen.

Ausführungsumgebung

Einfach ausgedrückt handelt es sich um eine Liste der zu installierenden Dinge.

Unity wird nach April 2018 unterstützt Dieses Mal werden wir mit "Unity 2019.4.1f1" fortfahren. Ebenso wird Python 3.6.1 oder höher unterstützt, aber Was ist diesmal Virtualisierung? ?? ?? Ich möchte mit Anaconda eine virtuelle Umgebung für Menschen in Japan schaffen. Anaconda wird später eine 3.7-Umgebung erstellen, daher werden wir die neueste 3.8-kompatible Version 2020.7 verwenden (Stand: 19. Oktober 2020). Gehen Sie außerdem davon aus, dass "Unity und Unity Hub bereits installiert wurden". Natürlich benötigen Sie auch eine Internetumgebung. Bitte beachten Sie, dass diesmal der Zweck des Lernens mit der GPU darin besteht, sie zu verschieben, sodass sie nicht enthalten ist.

ANACOND A3 Installationsverfahren

Wenn Sie es bereits installiert haben, überspringen Sie es bitte. Sie finden den Download-Speicherort, indem Sie durch die Anaconda3-Site scrollen. Bitte lesen Sie vorerst mit NEXT weiter. Diesmal mit Just Me, um die Verzeichnisse abzugleichen Sie werden nach dem Installationsordner gefragt, aber dieses Mal installieren wir ihn gehorsam unter C: \ Users \ user name \ anaconda3. Dies ist das letzte Element, aber überprüfen Sie es wie in der Abbildung unten gezeigt. Es ist rot, aber mach dir keine Sorgen. Das obere Element ist erforderlich, um den problematischen "Pfad" zu übergeben, und das untere Element ist nicht so relevant, aber dieses Mal werde ich es entfernen, um Python 3.7 als Hauptelement zu verwenden. Lassen Sie es uns installieren, sobald wir es überprüfen können. Öffnen Sie nach der Installation die Eingabeaufforderung und geben Sie zur Bestätigung "conda" ein. Wenn Sie die Eingabeaufforderung nicht verstehen, geben Sie cmd in die Windows-Suchleiste ein, um die App zu öffnen. Beim Öffnen auf schwarzem Hintergrund C: \ Benutzer \ Benutzername > Weil es angezeigt wird Geben Sie "conda" ein. Wenn die Hilfe wie unten gezeigt ausgegeben wird, ist die Installation abgeschlossen.

Wenn Sie in Zukunft einen Befehl wie folgt an der Eingabeaufforderung ausführen,

$ conda

Es ist geschrieben als "erinnern". ($ Bedeutet, den folgenden Befehl auszuführen.)

Download-Verfahren für ML-Agenten

Wenn Sie bereits heruntergeladen haben, stimmen Sie bitte nur mit der Verzeichnishierarchie überein. Scrollen Sie durch ML-Agents Release 8 Site und laden Sie den Quellcode (zip) herunter. Entpacken wir es direkt unter C: \ Users \ user name . Das Verzeichnis sollte C: \ Benutzer \ Benutzername \ ml-Agents-Release_8 sein. Die Datei "com.unity.ml-agent" im Ordner wird von Unity verwendet.

• mlagents
• mlagents_envs
• gym_unity

Diese Datei wird bei der nächsten Installation von Python verwendet. Einzelheiten zu den einzelnen Funktionen finden Sie hier.

Installationsverfahren für Python 3.7

Führen Sie den Befehl aus.

$ conda create -n ml-agents python=3.7

Warten Sie nach der Ausführung eine Weile, bis die virtuelle Umgebung erstellt ist. J / N unterwegs? Drücken Sie y, um einzutreten Wenn die Operation wieder beendet ist C: \ Benutzer \ Benutzername> Wird angezeigt, fahren Sie mit dem nächsten Schritt fort. Warten Sie danach bitte, bis die Verarbeitung eines Befehls abgeschlossen ist, und beginnen Sie mit `.

$ conda activate ml-agents

Die Eingabeaufforderung ändert sich in (ml-Agenten) C: \ Benutzer \ Benutzername>. Sie können die Bibliothek jetzt zu Ihrer virtuellen Umgebung hinzufügen.

$ pip install -e ./ml-agents-release_8/ml-agents-envs
$ pip install -e ./ml-agents-release_8/ml-agents
$ pip install -e ./ml-agents-release_8/gym-unity

Geben Sie "in der Reihenfolge von oben" ein. Wenn die Verzeichnishierarchie korrekt ist, wird die Installation gestartet. Es braucht Zeit, also beeilen Sie sich nicht und trinken Sie Tee.

$ pip list

Überprüfen Sie, ob zuletzt eine Bibliothek hinzugefügt wurde.

Erstellen einer Testumgebung für Unity

Öffnen Sie Unity Hub und klicken Sie auf Projekt> Zur Liste hinzufügen.

Wählen Sie den Ordner "Projekt" in C: \ Benutzer \ "Benutzername" \ ml-Agents-Release_8 und wählen Sie den Ordner aus. Klicken Sie nach dem Ändern der Unity-Version in "2019.4.1f1" auf den Projektnamen, um sie zu starten. Überprüfen Sie das "Upgrade" des Projekts. Wählen Sie "Ja" für das nächste Popup. Trinken wir Tee, bis der Import abgeschlossen ist. Doppelklicken Sie dann im Ordner "Assets> ML-Agents> Examples> 3DBall> Scenes" auf "3DBall.unity". Sobald die Szene geladen ist, drücken Sie die Wiedergabetaste oben in Unity, um die Szene auszuführen. (Es wird ein wenig gelesen, also warten wir) Eine süße Szene wurde gespielt! In dieser Szene werden trainierte Daten festgelegt, um den Ball nicht auf den Kopf fallen zu lassen. Drücken Sie nun erneut auf Wiedergabe, um die Szene zu beenden und von Grund auf zu lernen. (ml-Agenten) Im Status C: \ Benutzer \ Benutzername>

$ mlagents-learn ./ml-agents-release_8\config\ppo\3DBall.yaml --run-id=3DBall-1 --train

Zum Schluss: "Starten Sie das Training, indem Sie die Wiedergabetaste im Unity-Editor drücken." Wird angezeigt, drücken Sie die Unity-Wiedergabetaste. Dann denke ich, dass Box-Kun anfangen wird zu vibrieren. ~~ Das ist der Beginn des Lernens in der Welt. Je nach Person kann der Computer stöhnen, aber ich bin geduldig. (Wenn es auf einem alten Computer gefährlich zu sein scheint, beenden Sie die Wiedergabe oder drücken Sie an der Eingabeaufforderung Strg + C, um den Vorgang zu beenden.) Schauen Sie sich für eine Weile die Eingabeaufforderung und Unity an. Es stoppt automatisch, wenn das Lernen beendet ist. Die an der Eingabeaufforderung angezeigte "mittlere Belohnung" ist die durchschnittliche Belohnung. Wenn sie also höher wird, läuft Ihr Lernen gut.

Nach dem Lernen wird es in verschiedenen Eingabeaufforderungen angezeigt und kehrt dann in den Status (ml-Agenten) C: \ Benutzer \ Benutzername> zurück. Öffnen Sie die Datei C: \ Users \ username \ results \ 3DBall-1. Die NN-Formatdatei mit dem Namen "3DBall.nn" sind die "trainierten Daten", die im vorherigen Training erhalten wurden. (NN steht für Neural Network) Ziehen Sie es per Drag & Drop in Unitys Projekt und klicken Sie mit der rechten Maustaste auf Umbenennen, um es umzubenennen, damit es nicht mit "3DBall-NN" verwechselt wird. Klicken Sie dann auf den Pfeil > rechts neben 3D Ball aus der Hierarchie, um das Fertighaus von 3D Ball zu öffnen. Anschließend wird zum Einstellungsbildschirm "Fertighaus" gewechselt. Nachdem Sie bestätigt haben, dass der Hintergrund der Szene blau wird, wird im Inspektor eine Komponente mit dem Namen "Verhaltensparameter" angezeigt, wenn Sie "Agent" in der Hierarchie auswählen. Bitte stellen Sie die gelernte NN-Datei, die Sie gerade zum Modell hinzugefügt haben, durch Ziehen und Ablegen ein. Verlassen Sie nach dem Einstellen den Fertigungsbildschirm mit dem kleinen Pfeil nach links < oben links in der Hierarchie. Wenn Sie oben in Unity auf Wiedergabe drücken, um die Szene abzuspielen, können Sie sehen, dass der 3D-Ball in der Hierarchie die zugewiesene trainierte Datei ist. (Es gibt möglicherweise keine große Änderung im Erscheinungsbild, aber es sind die Daten, die zuvor gelernt wurden.)

Dies ist das Ende des Lerntests. Es gibt andere Demoszenen, daher halte ich es für eine gute Idee, sie auszuprobieren, während Sie den Namen der .yaml aus der Szene ändern, die Sie gelernt haben.

Aufbau eines sauberen Unity-Projekts

Es ist eine zusätzliche Ausgabe, aber es ist, wie man ein neues Projekt für einen sauberen ML-Agenten ohne Demoszene erstellt. Öffnen Sie Fenster> Paketmanager aus dem Menü. Drücken Sie die Taste "+" oben links und wählen Sie "Paket von Festplatte hinzufügen". Gehen Sie zu C: \ Benutzer \ Benutzername \ ml-Agenten-Release_8 und öffnen Sie Paket.json im Ordner com.unity.ml-Agenten. Wenn der Import abgeschlossen ist, sind Sie fertig.