[PYTHON] Datenverarbeitung 3 (Entwicklung) Informationen zum Datenformat

Aidemy　2020/10/

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur KI-Fachschule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der dritte Beitrag zum Umgang mit Daten. Freut mich, dich kennenzulernen.

• Bitte beachten Sie, dass dieses Kapitel esoterisch ist und ich es nicht vollständig verstehe.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Über Protokollpuffer ・ Über hdf5 ・ Über TF Record

Über Protokollpuffer (Entwicklung)

Was sind Protokollpuffer?

Protokollpuffer werden von Google verwendet, um Daten zu speichern und alle Arten von strukturierten Informationen auszutauschen. (Zitat: Wikipedia-Protokollpuffer "https://ja.wikipedia.org/wiki/Protocol_Buffers")

• Als Datenverarbeitungsmethode wird Message Type im Voraus definiert. -Message Type ist wie eine Klasse und wird in der Sprache proto2 definiert.

Definition des Nachrichtentyps

・ Lassen Sie uns zunächst sehen, wie Sie es mit Bezug auf den Nachrichtentyp-Quellcode schreiben, der die Familienstruktur zusammenfasst.

・ Code

-Erläutern Sie die Verwendung von proto2 mit __ "syntax =" proto2 ";" . Stellen Sie sicher, dass am Ende der Zeile ";" steht. - "Message Person {}" __ repräsentiert eine Klasse namens "Person". -Kommentare können durch __ "//" __ in einer Zeile und __ "/ * * /" __ in mehreren Zeilen dargestellt werden. -Für "Erforderlicher Stringname = 1;", __ "Stringname" __ gibt an, dass "Name" vom Typ str ist. Diese beiden Wörter werden zusammen field genannt. Der __ "= 1" __ Teil wird als __ Tag __ bezeichnet und hat die Aufgabe, die Daten bei der Ausgabe der Daten zu unterscheiden. __ "Erforderlich" __ muss an "Erforderliche Elemente" angehängt werden.

• Ähnlich wie "erforderlich int32 age = 2;" bedeutet dies, dass "age" vom Typ int ist und das Tag 2 ist.

• "Enum Relationship {}" definiert neu "Typen" wie str und int. Hier heißt es "Beziehungstyp". -In enum muss jedem Wert ein neues Tag hinzugefügt werden (MUTTER usw.). Tags in enum beginnen mit "0".

• "Erforderliche Beziehungsbeziehung = 4;" ist dasselbe wie "str name", was bedeutet, dass "Beziehung" ein Beziehungstyp ist und das Tag 4 ist.

• "Nachrichtenfamilie {}" ist dieselbe wie Person und repräsentiert die Familienklasse. -__ "Wiederholt" __ von "Wiederholte Person Person = 1;" ist wie eine "Liste". In diesem Fall werden Personentypdaten aufgelistet.

Ermöglichen, dass der Nachrichtentyp von Python verarbeitet wird

-Die Datei, in die der obige Code geschrieben ist, heißt "family.proto". Verwenden Sie einen Befehl, um diese Datei mit Python zu bearbeiten __protoc --python_out = Zieldateipfad speichern Nachrichtentyp Dateiname __ Eingeben.

Schreiben Sie Daten in Python

• Wenn Sie die Nachrichtentypdatei in Python lesen, können Sie den darin definierten Typ verwenden (Familientyp in family.proto usw.). Verwenden Sie diese Option, um tatsächlich Daten in Python einzugeben.

・ Code

・ Ergebnis (nur Teil)

Über hdf5

Was ist hdf5?

-Hdf5 ist ein Datenformat, das von Keras verwendet wird, beispielsweise beim Speichern eines von Keras erstellten Trainingsmodells. -In hdf5 kann die hierarchische Struktur in einer Datei vervollständigt werden. __ Mit anderen Worten, selbst wenn mehrere Ordner (Verzeichnisse) hierarchisch erstellt werden, kann die hdf5-Seite Dateien umfassend erstellen.

Erstellen einer HDF5-Datei

• Verwenden Sie eine Bibliothek namens h5py und Pandas, um sie zu erstellen. ・ Im Folgenden wird eine HDF5-Datei am Beispiel der Grundgesamtheit der Präfektur A erstellt.

・ Code

· Öffnen Sie die hdf5-Datei: __ hdf5.File ("Dateiname") __ -Erstellen Sie eine Gruppe (Verzeichnis): __ Datei .create_group ("Gruppenname") __ -Schreibe die Datei mit __flush () __ und schließe sie mit __close () __.

Über TF Record

Was ist TF Record?

TFRecord ist "ein einfaches aufzeichnungsorientiertes Binärformat, das große Datenmengen verarbeiten kann, die nicht in den Speicher passen". Quote: So erstellen und lesen Sie tdl TensorFlow empfohlenes Format "TFRecord" [https://www.tdi.co.jp/miso/tensorflow-tfrecord-01#:~:text=TFRecord%E3%81%AF%E3%80%81%E3%80%8C%E3%83%A1%E3%83%A2%E3%83%AA%E3%81%AB%E5%8F%8E%E3%81%BE%E3%82%89,%E3%81%AE%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%83%E3%83%88%E3%80%8D%E3%81%A8%E3%81%84%E3%81%86%E3%81%93%E3%81%A8%E3%81%A7%E3%81%99%E3%80%82]

-TFRecord ist ein in TensorFlow verwendetes Datenformat, das die Verarbeitung großer Datenmengen wie oben beschrieben ermöglicht.

Exportieren Sie das Bild in eine andere Datei im TFRecord-Format.

-Der Ablauf ist wie "Lesen eines Bildes", "Definieren des zu schreibenden Inhalts" und "Schreiben". ・ Gehen Sie wie folgt vor (Dateipfad ist fiktiv)

・ Code

• Über den Teil von "Definition der zu schreibenden Daten", __ "tf.train.Example ()" "tf.train.Features ()" "tf.train.Feature ()" "tf.train.ByteList ()" __ Viele Instanzen wie werden hierarchisch generiert, aber jede hat eine Rolle. -Für "tf.train.ByteList (value = [data])" wird eine Instanz mit den Daten in __ [] __ erstellt. Diese Daten müssen vom Bytetyp sein, verwenden Sie also __tobytes () __.
• "'Key': tf.train.Feature ()" erstellt eine __Feature-Instanz mit einem __key aus einer ByteList-Instanz.
• "Tf.train.Features ()" sammelt mehrere Feature-Instanzen als __ Wörterbuch __.
• "Tf.train.Example ()" erstellt eine Beispielinstanz aus der Features-Instanz. Auf diese Weise können Sie in files schreiben.

-Für den Teil "Schreiben" ist __ "tf.python_io.TFRecordWriter ('Dateiname')" __ die TFRecord-Version von "open ('w')". -__ "fp.write (my_Example.SerializePartialToString ())" __, vervollständigen Sie, wenn Sie endlich schreiben.

Liste der variablen und festen Längen

-Die Liste enthält allgemeine variable Länge, deren Länge geändert werden kann, und fixierte Länge, die nur feste Daten enthalten kann. -Die Liste von Python hat normalerweise eine variable Länge, aber "tf.train.Example ()" im vorherigen Abschnitt hat eine feste Länge.

• Verwenden Sie beim Generieren von Daten variabler Länge __ "tf.train.SequenceExample ()" __.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.