Analysieren Sie das S3 CloudTrail-Protokoll mit Boto

zunaechst

Ich wollte Boto (Python SDK von AWS) verwenden, um das Protokoll von CloudTrail in S3 zu analysieren, aber es gab einige süchtig machende Punkte und ein Beispiel des Anfangs, das für mich sehr hilfreich wäre. Ich konnte den Code nicht gut finden, daher werde ich den Code als Referenz auf die Rückseite der Broschüre setzen.

Wo ich süchtig wurde

• Boto3 unterstützt den Zugriff über HTTP-Proxy nicht? Ich habe Boto2 verwendet
• Das CloudTrail-Protokoll ist standardmäßig gz-komprimiert, daher ist eine Dekomprimierungsverarbeitung erforderlich, um den Inhalt zu analysieren
• Im Fall von "xx von S3 zielt nur auf Dateien unter dem Pfad von aa / bb / cc von Bucket ab", "Bucket.list (Präfix =" aa / bb / cc ")"

Darüber hinaus ähnelt das CloudTrail-Protokoll Die Verwendung von Loggly erleichtert die Analyse.

Über Python-Code

Elemente, die einzeln eingestellt werden müssen

"aws_access_key_id", "aws_secret_access_key", "target_path", "proxy", "proxy_port" müssen einzeln festgelegt werden.

• Setzen Sie für aws_access_key_id und aws_secret_access_key den Schlüssel des für den externen AWS-Zugriff erstellten IAM-Benutzers auf S3 (vergessen Sie nicht, dem erstellten IAM-Benutzer ReadAccess-Recht ( AmazonS3ReadOnlyAccess) zu geben!)
• proxy, proxy_port sind Einstellungen des HTTP-Proxyservers
• target_bucket ist der Name des Ziel-Buckets, target_path ist der Pfad von S3, den Sie analysieren möchten. Hier haben wir nur das Protokoll von 2015/07 von us-west-2 als Ziel ausgewählt

Ergänzung

• Der Zugriffsschlüssel des folgenden Beispielcodes ist eine entsprechende Zeichenfolge.
• Ich verwende Python2.7, Boto v2.32.1

Umriss des Codeflusses

Der Verarbeitungsablauf ist wie folgt.

• Listen Sie die Dateien (Schlüssel) unter target_path von target_bucketBucket auf und laden Sie sie herunter
• Entpacken Sie die heruntergeladene Datei (gz-Format) und lesen Sie sie als JSON
• Wenn das RDS-bezogene Protokoll übereinstimmt (['eventSource'] == 'rds.amazonaws.com'), geben Sie den Inhalt in die Standardausgabe aus.

import boto.s3.connection, gzip, StringIO, json

aws_access_key_id='AKKBUGOIU4434DDTT'
aws_secret_access_key='78oiupoiuh7++REugoiusGSEE'
target_bucket = 'your-backet-name'
target_path = 'CroudTrail/AWSLogs/1234567899999888/CloudTrail/us-west-2/2015/07'

def main():
  s3Instance = boto.s3.connection.S3Connection \
    (aws_access_key_id, aws_secret_access_key, proxy='your.proxy.server.com', proxy_port=8080)
  s3Bucket   = s3Instance.get_bucket(target_bucket)
  bucketList = s3Bucket.list(prefix=target_path)

  for count, itemOne in enumerate(bucketList):
    s3BucketKey = s3Bucket.get_key(itemOne.name)
    buffer_gz = s3BucketKey.get_contents_as_string()
    stringBuffer = StringIO.StringIO(buffer_gz)
    buffer_text = gzip.GzipFile(fileobj=stringBuffer)

    try:
      responseJSON = json.loads(buffer_text.read())
    except Exception, e:
      print e
    else:
      for count, itemTwo in enumerate(responseJSON['Records']):
        if itemTwo['eventSource'] == 'rds.amazonaws.com':
          print json.dumps(itemTwo, separators=(',', ':'), indent=2)
          print 'Event name = %s' % (itemTwo['eventName'])
          print '================================='

    stringBuffer.close()
    buffer_text.close()

if __name__ == '__main__':
  main()