[PYTHON] Erstellen eines Dataset Loader

Einführung

• Geben Sie eine Stapelgröße aus dem Trainingsprogramm an, damit Sie das Trainingsbild und das Trainingsetikett sowie das Testbild und das Testetikett erhalten.
• Ich habe unten auf die Implementierung von "TensorFlow" verwiesen.
  • https://github.com/tensorflow/tensorflow/blob/r1.12/tensorflow/contrib/learn/python/learn/datasets/mnist.py
• Der Teil, der das Lernbild, das Lernetikett, das Testbild und das Testetikett liest, die zuvor "pickle" waren, wurde geändert.
• Die vollständige Quelle ist hier.

Datensatz

―― Wie eingangs erwähnt, verweisen wir auf Folgendes. - https://github.com/tensorflow/tensorflow/blob/r1.12/tensorflow/contrib/learn/python/learn/datasets/mnist.py

class DataSet():
    """Datensatzverwaltung."""

    def __init__(self, images, labels):
        self._num_examples = images.shape[0]
        images = images.reshape(images.shape[0], images.shape[1] * images.shape[2])
        images = images.astype(numpy.float32)
        images = numpy.multiply(images, 1.0 / 255.0)
        self._images = images
        self._labels = labels
        self._epochs_completed = 0
        self._index_in_epoch = 0

def dense_to_one_hot(labels_dense, num_classes):
    """Convert class labels from scalars to one-hot vectors."""
    num_labels = labels_dense.shape[0]
    index_offset = numpy.arange(num_labels) * num_classes
    labels_one_hot = numpy.zeros((num_labels, num_classes))
    labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1
    return labels_one_hot

Lesen von Pickle-Daten

--Laden Sie das Pickle-Bild und die Beschriftung in den obigen Datensatz.

Daten lesen

• Lesen Sie die Originaldaten oder aufgefüllten Daten basierend auf der Einstellungsdatei.

def load_data(one_hot=False, validation_size=0):
    """Konfigurieren Sie den Datensatz.Lesen Sie nach py."""

    train_num = AUGMENT_NUM if USE_AUGMENT else 0
    datasets_file = os.path.join(DATASETS_PATH, ','.join(CLASSES), '{}x{}-{}.pickle'.format(IMG_ROWS, IMG_COLS, train_num))

    with open(datasets_file, 'rb') as fin:
        (train_images, train_labels), (test_images, test_labels) = pickle.load(fin)

Eine heiße Konvertierung des Etiketts

• Dieses Mal werden die gelesenen Etikettendaten in "one_hot" konvertiert und mit dem nachfolgenden Prozess verbunden.
• Zum Beispiel, wenn die Beschriftungen Sonnig: 1, Bewölkt: 2, Regen: 3, Sonnig: (1, 0, 0), Bewölkt: (0, 1, 0), Regen: (0 ,, Es ist eine Umwandlung in eine Form wie 0, 1).
• Für weitere Informationen suchen Sie nach "Machine Learning One Hot".

    if one_hot:
        num_classes = len(numpy.unique(train_labels))
        train_labels = dense_to_one_hot(train_labels, num_classes)
        test_labels = dense_to_one_hot(test_labels, num_classes)

Klassifizierung von Bild- und Etikettendatensätzen

• Jedes Mal, wenn Sie einen Datensatz laden, wird seine Position gemischt. ――Die Validierung kann erforderlich sein, daher versuchen wir, sie aus den Trainingsdaten herauszuschneiden. ―― Schließlich klassifizieren wir den Datensatz für Training, Validierung und Test.

    perm = numpy.arange(train_images.shape[0])
    numpy.random.shuffle(perm)
    train_images = train_images[perm]
    train_labels = train_labels[perm]

    validation_images = train_images[:validation_size]
    validation_labels = train_labels[:validation_size]
    train_images = train_images[validation_size:]
    train_labels = train_labels[validation_size:]

    train = DataSet(train_images, train_labels)
    validation = DataSet(validation_images, validation_labels)
    test = DataSet(test_images, test_labels)

    return Datasets(train=train, validation=validation, test=test)

abschließend

--Erstellt einen Dataset Loader. Die Originaldaten wurden geändert, um die "Pickle" -Daten zu lesen. ―― Heutzutage können Sie diesen Bereich jedoch ausblenden und programmieren, sodass Sie ihn kaum implementieren müssen. Ich denke, es ist das erste und das letzte. ――Nächstes Mal möchte ich ein Lernmodell erstellen.