[PYTHON] Daten aus S3 extrahieren

Aus irgendeinem Grund musste ich beim Herausnehmen der in S3 hochgeladenen Daten die gesamte Liste einmal abrufen, bevor ich sie abrufen konnte. Die Angabe des Präfixes war nutzlos.

Beispielcode

#!/usr/bin/env python
import boto.s3.connection

def main():
  s3con = boto.s3.connection.S3Connection('So etwas wie ein Zugangsschlüssel', 'Etwas Geheimnisvolles')
  bucket_con = s3con.get_bucket('logs-many')
  for k in bucket_con.list(prefix="access_log/2015/02/10/"):
    fn = k.name.split('/')[-1]
    body = k.get_contents_to_filename('log/' + fn)
    print 'Got! ' + fn

if __name__ == '__main__':      
  main()

Was also falsch war, war, dass ich im Präfix `` `/ logs-many``` angegeben hatte.

Irgendwie steht beim Lesen der Dokumentation / foo /, also dachte ich, dass es notwendig ist.

Recommended Posts

Daten aus S3 extrahieren
Extrahieren Sie bestimmte Daten aus komplexem JSON
Extrahieren Sie die Merkmalsmenge (Identität) aus dem Text.
Aggregierte AWS S3-Daten
Tabelle aus Wikipedia extrahieren
Extrahieren Sie mit Python Daten von einer Webseite
Exportieren Sie 3D-Daten aus QGIS
Extrahieren Sie Twitter-Daten mit CSV
Extrahieren Sie eine bestimmte Sprache aus Wiktionary
Extrahieren Sie Weiterleitungen aus Wikipedia-Dumps
CSV-Daten extrahieren und berechnen
[Python] Extrahieren Sie Textdaten aus XML-Daten von 10 GB oder mehr.
Folgen Sie der Datenstruktur von Blender und extrahieren Sie die Scheitelpunktkoordinaten aus fbx
Die Geschichte des Kopierens von Daten von S3 auf Googles TeamDrive
Extrahieren Sie Klassifizierungsinformationen usw. aus Genbankdaten im XML-Format
Von der Installation von Elasticsearch bis zur Dateneingabe
Python: Tags von HTML-Daten ausschließen
Hit Schatzdaten von Python Pandas
[AWS] Suchen und Abrufen der erforderlichen Daten aus S3-Dateien mit S3 Select
Persistente Datenstruktur von Grund auf neu erstellt
Extrahieren Sie Seiten aus Wikipedia-Dumps
Extrahieren Sie mit Python Text aus Bildern
[Data Science-Grundlagen] Datenerfassung über API
Holen Sie sich Daten von Twitter mit Tweepy
Extrahieren Sie Pokemon GO Pokemon-Daten und Skill-Daten
Extrahieren Sie mit Python Zeichenfolgen aus Dateien
Extrahieren und zeichnen Sie die neuesten Bevölkerungsdaten aus den von der Stadt bereitgestellten PDF-Daten
Kopieren Sie Daten von Amazon S3 mit Python (boto) in Google Cloud Storage.
Ich habe versucht, Konversationsdaten von ASKfm zu kratzen
Empfangen Sie Textdaten von MySQL mit Python
SIGNATE Quest ① Vom Lesen der Daten bis zur Vorverarbeitung
Verwenden Sie den PostgreSQL-Datentyp (jsonb) von Python
Python: Lesen von JSON-Daten von der Web-API
Verwenden Sie boto, um die Datei von S3 herunterzuladen.
Erfassung von Pflanzenwachstumsdaten Erfassung von Daten von Sensoren
Holen Sie sich Daten von Cloudant mit Bluemix-Kolben
# 5 [python3] Extrahiert Zeichen aus einer Zeichenfolge
Extrahieren Sie japanischen Text aus PDF mit PDFMiner
Rettungsdaten von der Festplatte aus ReadyNAS RN212
[Python] Webanwendung von 0! Hands-on (4) -Datenformung-
[TensorFlow] Extrahieren Sie Funktionen aus dem trainierten Modell Inception-v3
Holen Sie sich mit pyVISA Daten von einem Oszilloskop
[Python] (Linie) Extrahieren Sie Werte aus Diagrammbildern
Verwenden Sie PIL in Python, um nur die gewünschten Daten aus Exif zu extrahieren
[AWS; Einführung in Lambda] 2. Extrahieren Sie Sätze aus der JSON-Datei und speichern Sie S3 ♬
Extrahieren Sie Perioden, die einem bestimmten Muster entsprechen, aus den qualitativen Daten der Pandas-Zeitreihen