Einführung

Als ich im vorherigen Tutorial nach Materialien suchte, die SageMaker berühren wollten, erstellte ich eine Webanwendung zur Bildbeurteilung mithilfe von maschinellem Lernen Hands-on Materials. /article/column/ai-ml01.html) wurde gefunden, also habe ich beschlossen, es zu implementieren. Ich habe jedoch aufgegeben, weil während der Ausführung von SageMaker ein Fehler aufgetreten ist und ich ihn nicht beheben konnte. Dieser Artikel beschreibt die aufgetretenen Fehlerereignisse.

Unten finden Sie eine Übersicht über die Architektur, deren Bau geplant war.

(Zitiert von http://www.intellilink.co.jp/article/column/ai-ml01.html)

Im Folgenden finden Sie ein vollständiges Abbild der zu entwickelnden Webanwendung. Es ist ein Mechanismus, um das Bild auszuwählen, das Sie auf der linken Seite des Bildschirms beurteilen möchten, und das Beurteilungsergebnis dessen anzuzeigen, was im Bild auf der rechten Seite des Bildschirms reflektiert wird.

(Zitiert von http://www.intellilink.co.jp/article/column/ai-ml01.html)

Hauptgeschichte

Siehe Praktisches Material

S3 erstellen
Implementierung des maschinellen Lernteils durch SageMaker

Als ich jedoch SageMaker ausführte, bestätigte ich, dass ein Fehler aufgetreten war.

Wenn ich das Protokoll überprüfe, wird im folgenden Ausführungsteil ein Fehler angezeigt.

%%bash

mkdir -p caltech_256_train_60
for i in 256_ObjectCategories/*; do
    c=`basename $i`
    mkdir -p caltech_256_train_60/$c
    for j in `ls $i/*.jpg | shuf | head -n 60`; do
        mv $j caltech_256_train_60/$c/
    done
done

python im2rec.py --list --recursive caltech-256-60-train caltech_256_train_60/
python im2rec.py --list --recursive caltech-256-60-val 256_ObjectCategories/

Der Fehlertext lautet wie folgt.

ls: cannot access 256_ObjectCategories/*/*.jpg: No such file or directory

Während ich weiter überprüfte, gab der vorherige Ausführungsteil die folgende Nachricht aus, obwohl sie nicht unterbrochen wurde. Das Folgende ist der Ausführungsteil.

import os
import urllib.request

def download(url):
    filename = url.split("/")[-1]
    if not os.path.exists(filename):
        urllib.request.urlretrieve(url, filename)


# Caltech-256 image files
download('http://www.vision.caltech.edu/Image_Datasets/Caltech256/256_ObjectCategories.tar')
!tar -xf 256_ObjectCategories.tar

# Tool for creating lst file
download('https://raw.githubusercontent.com/apache/incubator-mxnet/master/tools/im2rec.py')

Die Nachricht ist unten.

tar: This does not look like a tar archive
tar: Skipping to next header
tar: Exiting with failure status due to previous errors

Der Befehl zur Dekomprimierung von Tar wird ausgeführt, die Verarbeitung wird jedoch übersprungen, da die Zieldatei nicht im Tar-Format vorliegt.

Ist es nicht eine TAR-Datei? → Ich habe das Ziel überprüft, aber es war eine TAR-Datei
Ist das Herunterladen aufgrund von Berechtigungen nicht möglich? → Ich habe es ohne den Befehl tar ausgeführt, konnte es aber problemlos herunterladen.
Ist die Option des Befehls tar falsch? Die Optionen für diesen Befehl tar lauten wie folgt. x: Entpacke die archivierte Datei und extrahiere / stelle sie wieder her f: Geben Sie den Namen der Archivdatei an → Als ich den Befehl f entfernte und ausführte, wurde die obige Nachricht nicht mehr ausgegeben, aber nicht beendet.

Als ich es nachgeschlagen habe, scheint es, dass es möglicherweise nicht richtig dekomprimiert werden kann, wenn es tar.gz ist, aber dieses Mal ist es nicht gzip-komprimiert. .. .. Aufgeben und aussetzen.

[LINUX] Tar-Befehlsfehler (ungelöst)

Einführung

Hauptgeschichte