~ Lösung Nr. 2. Versuchen Sie, die Chargengröße ~ zu reduzieren

Dies wird durch Festlegen der Pipeline.config behoben.

Welche Art von Parameterkombination beendet den Prozess? Ich denke, es hängt von der Betriebsumgebung und der Menge und Größe der verwendeten Lehrerdaten ab. Zuallererst kann es gelöst werden, indem der Chargengrößenwert reduziert wird Wenn Sie sich hier Sorgen machen, probieren Sie es aus.

Bestätigung der Trainingsdaten

Die Trainingsdaten werden jederzeit in dem Speicherverzeichnis gespeichert, das bei der Ausführung von model_main.py angegeben wird. Die Daten werden zu dem Zeitpunkt gespeichert, zu dem "Speichern" angezeigt wird, wie unten gezeigt, während des Lernens. In dieser Phase können Sie die Situation während des Lernens mit dem unten beschriebenen "Tensorboard" visualisieren.

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 500: object_detection/test0001/save/model.ckpt-500
I1012 08:29:56.544728 139877141301056 estimator.py:2109] Saving 'checkpoint_path' summary for global step 500: object_detection/test0001/save/model.ckpt-500

Tensorboard ~ Visualisierung lernen ~

Die Visualisierung von Trainingsdaten ist unerlässlich und Tensorboard ist dabei sehr hilfreich.

Starten Sie Tensorboard

Sie können Tensorboard mit dem folgenden Befehl starten.

$ tensorboard --logdir=object_detection/test0001/save

• --logdir : ** Geben Sie hier das Verzeichnis an, in dem Sie die Trainingsdaten speichern möchten, die Sie zu Beginn des Lernens angegeben haben. Wenn Sie das Speicherziel der in der Vergangenheit durchgeführten Lernergebnisse angeben, können Sie es auch nach Abschluss des Lernens erneut anzeigen.

Um Tensorboard in Ihrem Webbrowser anzuzeigen, gehen Sie zu Ihrem lokalen Host. Standardmäßig lautet die Portnummer 6006.

http://localhost:6006/

Wenn Sie in einer Docker-Containerumgebung ausgeführt werden, stellen Sie sicher, dass Sie Zugriff auf -p 6006: 6006 haben, wenn Sie Docker Run ausführen. Ich habe die Porteinstellungen in docker-compose.yml aufgelistet.

Wie man Tensorboard liest

Selbst wenn Sie Ihr Lernen visualisieren können, ist es schmerzhaft, wenn Sie nicht verstehen, wie Sie es betrachten sollen. Ich habe den Inhalt meiner Forschung zusammengefasst, also hoffe ich, dass Sie darauf verweisen können. GRAPHS Das Diagramm wird automatisch aus der Verarbeitung des Quellcodes generiert.

SCALARS

Referenz: Visualisierung des Lernens mit TensorBoard Als nächstes werde ich jedes der Hauptdiagramme erklären. Vorher werde ich eine Beschreibung der Wörter geben, die Sie zur Erklärung kennen müssen.

• IOU :
  IOU ist eine Abkürzung für Intersection (gemeinsamer Teil von Regionen) über Union (Summe von Regionen) und ein Index, der angibt, "wie stark sich die beiden Regionen überlappen". Je näher dieser Wert an 1 liegt, desto besser stimmen die richtige Antwort und die Inferenz überein.
• Recall :
  Erinnern. Prozentsatz dessen, was Sie finden sollten, den Sie richtig finden konnten. Auch Empfindlichkeit genannt.

Referenz: Bedeutung der IoU (Bewertungsindex) und Strenge des Werts Referenz: [Für Anfänger] Erläuterung der Bewertungsindizes für Klassifizierungsprobleme beim maschinellen Lernen (korrekte Antwortrate, Präzisionsrate, Rückrufrate usw.)

Das Folgende ist ein Auszug mit Bezug auf die Erläuterung der in object_detection /metrics / coco_tools.py beschriebenen Elemente.

IMAGES

Bilddaten anzeigen. Sie können den Unterschied zwischen der richtigen Antwort der Überprüfungsdaten und dem Inferenzergebnis in Einheiten der .ckpt-Datei (Prüfpunkt) überprüfen.

Konvertierung in Inferenzdiagramm

Wenn das Training beendet ist, ist es endlich Zeit, die Daten in ein Inferenzdiagramm umzuwandeln. Insbesondere wird die durch Lernen erstellte .ckpt-Datei in eine .pb-Datei konvertiert.

Es gibt mehrere Quellen für die Konvertierung im Verzeichnis "object_detection".

• export_inference_graph.py
• export_tflite_ssd_graph.py

** Um es auf Android zu testen, wird es in das ** .tflite-Format konvertiert, also ** verwenden Sie das letztere **.

Für export_inference_graph.py

Eine Beschreibung der Laufzeitargumente.

• --input_type : Geben Sie für das Inferenzdiagramm je nach Benutzer eine der folgenden drei an

  • image_tensor :
    4D-Tensor [Keine, Keine, Keine, 3] Normalerweise sollten Sie dies angeben.

• encoded_image_string_tensor: 1D-Tensor [Keine] Enthält codierte PNG- oder JPEG-Bilder. Wenn mehrere Bilder bereitgestellt werden, wird davon ausgegangen, dass die Bildauflösungen gleich sind.

• tf_example: 1-dimensionaler Stringtensor [Keine] Wenn mehrere Bilder bereitgestellt werden, einschließlich serialisierter TF-Beispielprotokolle, wird davon ausgegangen, dass die Bildauflösungen gleich sind.

• --pipeline_config_path : Geben Sie die Konfigurationsdatei an, die während des Trainings verwendet wird.

• --trained_checkpoint_prefix : Geben Sie die Datei "model.ckpt-XXXX" an, die als Speicherziel für die Trainingsdaten erstellt wurde. Geben Sie für XXXX die letzte (größte) Anzahl der durchgeführten Lernschritte an. Wenn es beispielsweise 10000 Mal ausgeführt wird, lautet es "model.ckpt-10000".

• --output_directory : Geben Sie das Verzeichnis an, das Sie exportieren möchten. Im angegebenen Verzeichnis wird eine Datei mit genau der gleichen Struktur wie die Dateistruktur des ersten heruntergeladenen Modells erstellt.

Das Folgende ist ein Ausführungsbeispiel.

$ python object_detection/export_inference_graph.py \
--input_type image_tensor \
--pipeline_config_path object_detection/ssd_mobilenet_v3_large_coco/pipeline.config \
--trained_checkpoint_prefix object_detection/test0001/save/model.ckpt-10000 \
--output_directory object_detection/test0001/output

Für export_tflite_ssd_graph.py

Ein Programm, das ein trainiertes Modell in ein .tflite-kompatibles Modell konvertiert. Die Argumente sind im Grunde die gleichen wie "export_inference_graph.py". (Es gibt keinen --input_type)

Das Folgende ist ein Ausführungsbeispiel.

$ python object_detection/export_tflite_ssd_graph.py \
--pipeline_config_path=object_detection/ssd_mobilenet_v3_large_coco/pipeline.config \
--trained_checkpoint_prefix=object_detection/test0001/save/model.ckpt-10000 \
--output_directory=object_detection/test0001/tflite \
--add_postprocessing_op=true

Zwei Dateien, "tflite_graph.pb" und "tflite_graph.pbtxt", werden in dem durch "--output_directory" angegebenen Verzeichnis erstellt.

In das TensorFlow Lite-Format konvertieren

Verwenden Sie tflite_convert, um in das tflite-Format zu konvertieren. Dieser Konverter sollte von Anfang an enthalten sein.

Wenn Sie "tflite_convert --help" eingeben, wird die Verwendung beendet. Da es viele Optionen zum Hinzufügen gibt, habe ich es wie folgt in einem Shell-Skript zusammengefasst. Ändern Sie das Verzeichnis nach Ihren Wünschen. Außerdem erkenne ich, dass --input_shapes wahrscheinlich ein Wert ist, der zum Zeitpunkt des Lernens mit dem image_resizer der Konfiguration übereinstimmt, aber es gibt keine Bestätigung ... Die Bedeutungen der Zahlen sind (Stapelgröße, Eingabebildhöhe, Eingabebildbreite, Eingabebildtiefe (RGB-Kanal)).

Converter command line reference

#! /bin/bash

OUTPUT_FILE="object_detection/test0001/tflite/test.tflite"
GRAPH_DEF_FILE="object_detection/test0001/tflite/tflite_graph.pb"
INTERFACE_TYPE="FLOAT"
INPUT_ARRAY="normalized_input_image_tensor"
OUTPUT_ARRAYS="TFLite_Detection_PostProcess,TFLite_Detection_PostProcess:1,TFLite_Detection_PostProcess:2,TFLite_Detection_PostProcess:3"
INPUT_SHAPES="1,300,300,3"

cd '/tensorflow/models/research'

tflite_convert \
    --output_file=$OUTPUT_FILE \
    --graph_def_file=$GRAPH_DEF_FILE \
    --inference_type=$INTERFACE_TYPE \
    --input_arrays=$INPUT_ARRAY \
    --input_shapes=$INPUT_SHAPES \
    --output_arrays=$OUTPUT_ARRAYS \
    --default_ranges_min=0 \
    --default_ranges_max=6 \
    --mean_values=128 \
    --std_dev_values=127 \
    --allow_custom_ops

Außerdem habe ich mehrere Anweisungen zum Installieren von "bazel" und "toco" auf anderen Websites gefunden, die jedoch nur mit dieser Befehlszeile ohne diese möglich waren. (Ich habe versucht, diese Methoden genau zu sein, aber das Ergebnis war das gleiche)

Wenn zu diesem Zeitpunkt die Version von TensorFlow ** 1.12.0rc0 ist, ist dies fehlgeschlagen **, Mit ** 1.15.0rc3 ** funktionierte genau der gleiche Befehl **.

Darüber hinaus wurde in der offiziellen Beschreibung die Python-API empfohlen. Converter command line reference

Führen Sie es tatsächlich auf Android aus

Es ist lange her, aber es ist endlich in Produktion.

Installieren Sie Android Studio

Installieren wir zunächst "Android Studio". Wenn Sie andere Tools einfacher zu verwenden finden, können Sie sie verwenden.

Beispiel vom offiziellen herunterladen

Laden Sie als Nächstes die Beispielsammlung vom Beamten herunter.

$ git clone --depth 1 https://github.com/tensorflow/examples.git

Probenänderung

Öffnen Sie nach dem Start von Android Studio examples / lite / examples / object_detection / android.

Legen Sie Ihre eigene tflite-Datei ab

Platzieren Sie Ihre test.tflite und labelmap.txt im Verzeichnis examples / lite / examples / object_detection / android / app / src / main / assets. labelmap.txt ist eine Textdatei, in der die von Ihnen getaggten Tag-Namen aufgelistet sind.

Wenn Sie beispielsweise zwei Arten von Tag-Namen vorbereiten, "apple" und "orange", lautet die Textdatei wie folgt.

labelmap.txt

???
apple
orange

Wichtig ist, dass die erste Zeile "???" lautet.

Bearbeiten von DetectorActivity.java

Es ist lang, aber bearbeiten Sie "DetectorActivity.java" im Verzeichnis "examples / lite / examples / object_detection / android / app / src / main / java / org / tensorflow / lite / examples / Detection /".

DetectorActivity.java

private static final boolean TF_OD_API_IS_QUANTIZED = false; //true->false
private static final String TF_OD_API_MODEL_FILE = "test.tflite"; //detect.tflite -> my tflite
private static final String TF_OD_API_LABELS_FILE = "file:///android_asset/labelmap.txt"; //my txt

Bearbeiten Sie dann "build.gradle" im Verzeichnis "examples / lite / examples / object_detection / android / app /".

Kommentieren Sie Folgendes in Zeile 40 aus: (Wenn Sie hier keinen Kommentar abgeben, werden diese beim Erstellen durch die Standard-Beispieldaten ersetzt.)

build.gradle

apply from:'download_model.gradle' //Auskommentieren

Bauen

Sobald Sie dies getan haben, müssen Sie es nur noch erstellen, auf Ihrem Gerät ausführen und sehen! Herzlichen Glückwunsch, wenn Sie es gut versuchen können.

Unten finden Sie eine Referenzseite für Android

Training and serving a realtime mobile object detector in 30 minutes with Cloud TPUs How to Train Your Own Custom Model with Tensorflow Object Detection API and Deploy It into Android with TF Lite Detecting Pikachu on Android using Tensorflow Object Detection

abschließend

Was haben Sie gedacht? Es sieht aus wie eine Übersichtsseite auf einer anderen Seite, aber Zumindest denke ich, dass wir einige Informationen behandelt haben, die wir möglicherweise benötigen, um die Objekterkennungs-API von TensorFlow zu verwenden.

Insbesondere hat TensorFlow je nach Version ein unterschiedliches Detailverhalten. Da die Versionen der verschiedenen Referenzseiten, die zu dieser Zeit verwendet wurden, unterschiedlich sind, denke ich, dass viele Menschen die gleichen Schwierigkeiten hatten.

Es gibt noch viele Teile, die ich nicht verstehe, aber ich hoffe, es hilft. Vielen Dank für das Lesen des langen Artikels.