[PYTHON] Mettez à jour les données en les téléchargeant sur s3 d'aws avec une commande, et supprimez les données utilisées (en chemin)

Installation de la dernière version de l'AWS CLI pip3 install awscli --upgrade --user

Il semble qu'il a été installé, mais aws --version Puis zsh: command not found: aws Sortira ... [Ajouter le fichier exécutable de l'AWS CLI version 1 au chemin de la ligne de commande macOS](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-macos.html#awscli-install-osx- chemin) Sur la base de l'article ci-dessus, "Ajoutez le programme aws à la variable d'environnement PATH du système d'exploitation". → Mais après tout zsh: command not found: aws Sortira ...?

which python Il sort sous la forme / Users / user name / anaconda3 / bin / python.

Installez l'AWS CLI Selon l'article ci-dessus Si vous utilisez --user lors de la première installation, il sera installé dans .local. J'ai besoin de mettre mon PATH dans ~ / .local / bin, mais maintenant

ʻExport PATH = "/ Utilisateurs / nom d'utilisateur / anaconda3 / bin: $ PATH" ` Je me demande si c'est parce que c'est devenu ...

La méthode est-elle différente lors de l'utilisation d'anaconda? how to install AWSCLI on a Anaconda python distribution aws codecommit aws: command not found

→ Conclusion

conda install -c conda-forge awscli Après avoir couru, j'ai pu utiliser les commandes AWS avec brio.

Paramètres de l'AWS CLI

Site de référence aws configure ↓ AWS Access Key ID [None]: 〜〜 AWS Secret Access Key [None]: 〜〜 Default region name [None]: ap-northeast-1 Default output format [None]: json

Liste des commandes de l'AWS CLI Confirmez que vous pouvez voir le contenu de s3 avec ʻaws s3 ls`

Copiez le fichier sur s3 localement.

ʻAws s3 cp s3: // {nom du bucket} / {chemin} {chemin local} `

Vous pouvez copier le chemin du fichier sur s3 en cliquant sur "Cliquez sur Fichier-> Cliquez sur Copier le chemin". (Ce qui suit est lors du téléchargement dans le dossier de téléchargement) ʻAws s3 cp s3: // ~ ~ ~ / Utilisateurs / nom d'utilisateur / Téléchargements `

Décompressez le fichier avec python et supprimez les colonnes supplémentaires

Référence: Vous pouvez également lire des fichiers compressés avec pandas.read_csv. Très pratique!

`python`


import pandas as pd
df = pd.read_csv('nom de fichier.csv.gz')

#Supprimer les colonnes inutilisées
df=df.drop(columns=['A','B','C'],axis=1)

#Supprimer la ligne s'il manque une valeur dans la colonne a
df=df.dropna(subset=['a'])

df.to_csv('./renamed_file/Nom de fichier après compression.csv.gz', index=False, compression='gzip')

Exécutez la commande depuis python.

[Introduction à Python] Exécutons des commandes en utilisant un sous-processus!

À titre de test, jetez un œil au contenu de s3 de python

`python`


import subprocess

subprocess.call(["aws","s3","ls"])

→ Succès

Téléchargez depuis S3 vers le dossier download / point_data, décompressez-le, ajoutez un traitement, recompressez-le dans le dossier download / renamed_file, placez-le et téléchargez-le à l'emplacement spécifié dans S3.

`python`


import subprocess
path_list=[Liste des fichiers PATH sur S3 que vous souhaitez télécharger]
for s in range(len(path_list)):
    cmd="aws s3 cp"+" "+path_list[s]+" "+"/Users/Nom d'utilisateur/Downloads/point_data"
    subprocess.call(cmd.split())
    df = pd.read_csv(filename_list[s])
    #Supprimer les colonnes inutilisées
    df=df.drop(columns=df.columns[[1,2,3,4,5]], axis=1)#Les nombres sont des numéros de colonne La gauche est un exemple
    
    #Supprimer la ligne sans nom de colonne A
    df=df.dropna(subset=['A'])
    #sauvegarder
    file_name='/Users/Nom d'utilisateur/Downloads/renamed_file/'+nom de fichier
    df.to_csv(file_name, index=False, compression='gzip')
    cmd2="aws s3 cp"+" "+"/Users/Nom d'utilisateur/Downloads/renamed_file/"+nom de fichier+" "+ 'CHEMIN de l'emplacement sur S3 que vous souhaitez télécharger'
    subprocess.call(cmd2.split())