introduction

Poursuivant le didacticiel précédent, lorsque j'ai recherché des matériaux à partir du désir de toucher SageMaker, j'ai créé une application Web de jugement d'image à l'aide de l'apprentissage automatique Matériel pratique /article/column/ai-ml01.html) a été trouvé, j'ai donc décidé de l'implémenter. Cependant, j'ai abandonné car une erreur s'est produite lors de l'exécution de SageMaker et je n'ai pas pu la résoudre. Cet article décrit les événements d'erreur qui se sont produits.

Vous trouverez ci-dessous un aperçu de l'architecture qui devait être construite.

(Extrait de http://www.intellilink.co.jp/article/column/ai-ml01.html)

De plus, ce qui suit est une image complète de l'application Web à développer. Il s'agit d'un mécanisme pour sélectionner l'image que vous souhaitez juger sur le côté gauche de l'écran et afficher le résultat du jugement de ce qui est reflété dans l'image sur le côté droit de l'écran.

(Extrait de http://www.intellilink.co.jp/article/column/ai-ml01.html)

Histoire principale

Reportez-vous à Matériel pratique --Créer S3

Implémentation de la partie machine learning par SageMaker

Cependant, lorsque j'ai exécuté SageMaker, j'ai confirmé qu'une erreur s'était produite.

Lorsque je vérifie le journal, une erreur s'affiche dans la partie d'exécution suivante.

%%bash

mkdir -p caltech_256_train_60
for i in 256_ObjectCategories/*; do
    c=`basename $i`
    mkdir -p caltech_256_train_60/$c
    for j in `ls $i/*.jpg | shuf | head -n 60`; do
        mv $j caltech_256_train_60/$c/
    done
done

python im2rec.py --list --recursive caltech-256-60-train caltech_256_train_60/
python im2rec.py --list --recursive caltech-256-60-val 256_ObjectCategories/

Le libellé de l'erreur est le suivant.

ls: cannot access 256_ObjectCategories/*/*.jpg: No such file or directory

Alors que je continuais à vérifier, la partie d'exécution précédente a produit le message suivant, bien qu'il n'ait pas été interrompu. Ce qui suit est la partie exécution.

import os
import urllib.request

def download(url):
    filename = url.split("/")[-1]
    if not os.path.exists(filename):
        urllib.request.urlretrieve(url, filename)


# Caltech-256 image files
download('http://www.vision.caltech.edu/Image_Datasets/Caltech256/256_ObjectCategories.tar')
!tar -xf 256_ObjectCategories.tar

# Tool for creating lst file
download('https://raw.githubusercontent.com/apache/incubator-mxnet/master/tools/im2rec.py')

Le message est ci-dessous.

tar: This does not look like a tar archive
tar: Skipping to next header
tar: Exiting with failure status due to previous errors

La commande de décompression tar est en cours d'exécution, mais le traitement est ignoré car le fichier cible n'est pas au format tar.

N'est-ce pas un fichier tar? → J'ai vérifié la cible, mais c'était un fichier tar
N'est-il pas possible de télécharger en raison des autorisations? → Je l'ai exécuté sans la commande tar, mais j'ai pu le télécharger sans aucun problème.
L'option de la commande tar est-elle erronée? Les options de cette commande tar sont les suivantes. x: décompressez le fichier archivé et extrayez-le / restaurez-le f: Spécifiez le nom du fichier d'archive → Lorsque j'ai supprimé la commande f et l'ai exécutée, le message ci-dessus n'était plus affiché, mais il ne s'est pas terminé.

Quand je l'ai recherché, il semble qu'il ne puisse pas être décompressé correctement s'il s'agit de tar.gz, mais cette fois, il n'est pas compressé par gzip. .. .. Abandonnez et suspendez.

[LINUX] Erreur de commande Tar (non résolue)

introduction

Histoire principale