[PYTHON] Laden Sie Daten mit einem Befehl und einer Aktualisierung auf s3 von aws hoch und löschen Sie die verwendeten Daten (unterwegs).

Installieren der neuesten Version der AWS CLI pip3 install awscli --upgrade --user

Es scheint, dass es installiert wurde, aber aws --version Dann zsh: command not found: aws Wird rauskommen ... Fügen Sie die Ausführungsdatei für AWS CLI Version 1 zum Befehlszeilenpfad von macOS hinzu (https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-macos.html#awscli-install-osx- Pfad) Basierend auf dem obigen Artikel "Fügen Sie das aws-Programm zur Umgebungsvariablen PATH des Betriebssystems hinzu". → Aber doch zsh: command not found: aws Wird rauskommen ...?

which python Es erscheint als "/ Users / user name / anaconda3 / bin / python".

AWS CLI installieren Nach dem obigen Artikel Wenn Sie --user während der ersten Installation verwenden, wird es in .local installiert. Ich muss meinen PFAD in ~ / .local / bin einfügen, aber jetzt

export PATH =" / Users / username / anaconda3 / bin: $ PATH " Ich frage mich, ob es daran liegt, dass es ...

Ist die Methode bei der Verwendung von Anakonda anders? how to install AWSCLI on a Anaconda python distribution aws codecommit aws: command not found

→ Fazit

conda install -c conda-forge awscli Nach dem Ausführen konnte ich AWS-Befehle hervorragend verwenden.

AWS CLI-Einstellungen

Referenzseite aws configure ↓ AWS Access Key ID [None]: 〜〜 AWS Secret Access Key [None]: 〜〜 Default region name [None]: ap-northeast-1 Default output format [None]: json

AWS CLI-Befehlsliste Bestätigen Sie, dass Sie den Inhalt von s3 mit aws s3 ls sehen können

Kopieren Sie die Datei lokal auf s3.

aws s3 cp s3: // {Bucket Name} / {Pfad} {lokaler Pfad}

Sie können den Pfad der Datei auf s3 kopieren, indem Sie auf "Klicken Sie auf Datei-> Klicken Sie auf Pfad kopieren" klicken. (Folgendes ist beim Herunterladen in den Download-Ordner) aws s3 cp s3: // ~ ~ ~ / Benutzer / Benutzername / Downloads

Entpacken Sie die Datei mit Python und entfernen Sie die zusätzlichen Spalten

Referenz: Sie können komprimierte Dateien auch mit pandas.read_csv lesen. Sehr angenehm!

`python`


import pandas as pd
df = pd.read_csv('Dateiname.csv.gz')

#Nicht verwendete Spalten löschen
df=df.drop(columns=['A','B','C'],axis=1)

#Löschen Sie die Zeile, wenn in Spalte a ein Wert fehlt
df=df.dropna(subset=['a'])

df.to_csv('./renamed_file/Dateiname nach der Komprimierung.csv.gz', index=False, compression='gzip')

Führen Sie den Befehl von Python aus.

[Einführung in Python] Lassen Sie uns Befehle mit einem Unterprozess ausführen!

Schauen Sie sich als Test den Inhalt von s3 aus Python an

`python`


import subprocess

subprocess.call(["aws","s3","ls"])

→ Erfolg

Laden Sie von S3 in den Ordner download / point_data herunter, dekomprimieren Sie ihn, fügen Sie die Verarbeitung hinzu, komprimieren Sie ihn erneut in den Ordner download / renamed_file, platzieren Sie ihn und laden Sie ihn an den angegebenen Speicherort in S3 hoch.

`python`


import subprocess
path_list=[Liste der PATH-Dateien in S3, die Sie herunterladen möchten]
for s in range(len(path_list)):
    cmd="aws s3 cp"+" "+path_list[s]+" "+"/Users/Nutzername/Downloads/point_data"
    subprocess.call(cmd.split())
    df = pd.read_csv(filename_list[s])
    #Nicht verwendete Spalten löschen
    df=df.drop(columns=df.columns[[1,2,3,4,5]], axis=1)#Zahlen sind Spaltennummern Links ist ein Beispiel
    
    #Zeile ohne Spaltennamen A löschen
    df=df.dropna(subset=['A'])
    #sparen
    file_name='/Users/Nutzername/Downloads/renamed_file/'+Dateiname
    df.to_csv(file_name, index=False, compression='gzip')
    cmd2="aws s3 cp"+" "+"/Users/Nutzername/Downloads/renamed_file/"+Dateiname+" "+ 'Pfad des Standorts auf S3, den Sie hochladen möchten'
    subprocess.call(cmd2.split())