Load_data wurde selbst erstellt, um Python MNIST-Beispielcode in Ihrem eigenen Dataset auszuführen

Einführung

Wenn Sie sich für Deep Learning und KI interessieren und versuchen, den Beispielcode zu verschieben, werden viele Beispiele mit einem Datensatz namens MNIST angezeigt. MNIST ist ein Datensatz handgeschriebener Zeichen, die durch Beschriftungen von 0 bis 9 klassifiziert sind, und ein Graustufenbild mit einer Auflösung von 28 x 28.

Der Beispielcode selbst kann ausgeführt werden, solange die Umgebung erstellt werden kann. Ich möchte den Originaldatensatz verwenden, den ich selbst erstellt habe. Wenn ich mir den MNIST-Code anschaue, ist die Erstellung des Datensatzes mit der folgenden Zeile fast abgeschlossen.

• Diese eine Zeile ist nicht normalisiert

(x_train, y_train), (x_test, y_test) = mnist.load_data()

Das plötzliche Erstellen eines eigenen Datensatzes von hier aus ist eine sehr hohe Hürde. In diesem Artikel implementieren wir anstelle von mnist.load_data eine Funktion zum Erstellen Ihres eigenen Datasets im Mnist-Format.

mnist.load_data() Die MNIST-Spezifikationen werden auch in die offizielle Dokumentation aufgenommen. https://keras.io/ja/datasets/

Die Verwendung ist die gleiche wie im obigen Beispiel. x_train und y_train speichern Trainingsdaten und -etiketten. x_test und y_test speichern auch einen Satz von Verifizierungsdaten.

Die Trainingsdaten sind sehr leicht zu verstehen, daher werde ich sie weitergeben. Maschinelles Lernen Training Datenaufteilung und Lernen / Vorhersage / Verifikation

Selbst erstellte load_data ()

Vorbereitungen für den Umgang mit den load_data, die ich diesmal mache

• Speichern Sie die Bilder für jeden Ordner separat Nur das!

Hier ist eine Liste der Importe und des Quellcodes.

import.txt

from PIL import Image
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
import pandas as pd
import os, glob

my_load_data().py

def my_load_data(folder_str, size):
    print('load_dataset...')
    folders = folder_str.split('__')
    X = []
    Y = []
    for index, fol_name in enumerate(folders):
        files = glob.glob(fol_name + '/*.jpg')
        for file in files:
            image = Image.open(file)
            image = image.resize((size, size))
            image = image.convert('L')
            data = np.asarray(image)
            X.append(data)
            Y.append(index)
    X = np.array(X)
    Y = np.array(Y)
    oh_encoder = OneHotEncoder(categories='auto', sparse=False)
    onehot = oh_encoder.fit_transform(pd.DataFrame(Y))
    X_train, X_test, y_train, y_test = train_test_split(X, onehot, test_size=0.2)
    return X_train, X_test, y_train, y_test

Das formale Argument folder_str gibt den Ordner an, in den das Bild unterteilt ist. Wenn Sie ein Etikett anhängen, sind mehrere Ordner erforderlich. Geben Sie daher die Ordnernamen an, die durch '__' getrennt sind. Der Beispielcode hat die Erweiterung jpg, Sie können ihn jedoch ändern. Größe ist die Auflösung. Da MNIST 28x28 ist, geben Sie 28 an. Das Label scheint ein heißes zu sein, deshalb werde ich es vorerst konvertieren. Dies ist die Hauptfunktion, wenn die obige Funktion tatsächlich verwendet wird.

sample.py

import argparse

def main():
    parser = argparse.ArgumentParser(description='sample')
    parser.add_argument('--folder', '-i')
    parser.add_argument('--size', '-s', type=int, default=28)
    args = parser.parse_args()
    X_train, X_test, y_train, y_test = my_load_data(args.folder, args.size)

    #Bestätigung
    print('X_train',X_train)
    print('y_train',y_train)

Beispiel für einen Ausführungsbefehl

python sample.py --folder f1__f2__f3 -s 28

f1, f2 und f3 nehmen den Ordner an, der die Bilder im aktuellen Verzeichnis enthält.

abschließend

Dieses Mal habe ich my_load_data erstellt, damit ich MNIST load_data mit meinen eigenen Daten testen kann. Wir wünschen Ihnen viel Spaß beim Verschieben der MNIST-Probe. Wenn Sie Probleme mit der Operation haben oder Fragen haben, können Sie dies gerne kommentieren.

Beim Schreiben dieses Artikels habe ich mir die Weisheit verschiedener Vorfahren geliehen. Ich werde es am Ende schreiben. Danke fürs Lesen. Wenn Sie LGTM mögen, bitte!

Referenz

[So konvertieren Sie Bilddaten in das Numpy-Format](https://newtechnologylifestyle.net/%E7%94%BB%E5%83%8F%E3%83%87%E3%83%BC%E3%82%BF % E3% 81% 8B% E3% 82% 89numpy% E5% BD% A2% E5% BC% 8F% E3% 81% AB% E5% A4% 89% E6% 8F% 9B% E3% 81% 99% E3 % 82% 8B% E6% 96% B9% E6% B3% 95 /)

Grundlegendes zur Erkennung von Keras VAE-Bildfehlern

Bildwiedergabe mit Faltungs-Auto-Encoder, Rauschunterdrückung, Segmentierung