Analyser S3 CloudTrail Log à l'aide de Boto

en premier

Je voulais utiliser Boto (Python SDK of AWS) pour analyser le journal de CloudTrail sur S3, mais il y avait des points addictifs et un échantillon du début qui me seraient très utiles. Je n'ai pas bien trouvé le code, alors je vais le mettre au dos du dépliant pour votre référence.

Où je suis devenu accro

• Boto3 ne prend pas en charge l'accès via le proxy HTTP? Comme, j'ai fini par utiliser Boto2
• Le journal CloudTrail est compressé au format gz par défaut, un traitement de décompression est donc nécessaire pour analyser le contenu
• Dans le cas de "xx de S3 cible uniquement les fichiers sous Chemin de aa / bb / cc du Bucket", bucket.list (prefix = 'aa / bb / cc')

En outre, le journal de CloudTrail est comme Utiliser Loggly facilite l'analyse.

À propos du code Python

Éléments qui doivent être définis individuellement

ʻAws_access_key_id, ʻaws_secret_access_key, target_path, proxy, proxy_port doivent être définis individuellement.

• Pour ʻaws_access_key_id, ʻaws_secret_access_key, définissez la clé de l'utilisateur IAM créé pour l'accès externe AWS (n'oubliez pas de donner le droit ReadAccess de l'utilisateur IAM créé à S3 (ʻAmazonS3ReadOnlyAccess`)!)
• proxy, proxy_port sont les paramètres du serveur proxy HTTP
• target_bucket est le nom du compartiment cible, target_path est le chemin de S3 que vous souhaitez analyser, ici nous avons uniquement ciblé le journal de 2015/07 de us-west-2

Supplément

• La clé d'accès de l'exemple de code ci-dessous est une chaîne de caractères appropriée.
• J'utilise Python2.7, Boto v2.32.1

Décrire le flux de code

Le flux de traitement est le suivant.

• Listez les fichiers (clés) sous target_path de target_bucketBucket et téléchargez-les
• Décompressez le fichier téléchargé (format gz) et lisez-le au format JSON
• Si le journal associé à RDS correspond (['eventSource'] == 'rds.amazonaws.com'), affichez le contenu en sortie standard.

import boto.s3.connection, gzip, StringIO, json

aws_access_key_id='AKKBUGOIU4434DDTT'
aws_secret_access_key='78oiupoiuh7++REugoiusGSEE'
target_bucket = 'your-backet-name'
target_path = 'CroudTrail/AWSLogs/1234567899999888/CloudTrail/us-west-2/2015/07'

def main():
  s3Instance = boto.s3.connection.S3Connection \
    (aws_access_key_id, aws_secret_access_key, proxy='your.proxy.server.com', proxy_port=8080)
  s3Bucket   = s3Instance.get_bucket(target_bucket)
  bucketList = s3Bucket.list(prefix=target_path)

  for count, itemOne in enumerate(bucketList):
    s3BucketKey = s3Bucket.get_key(itemOne.name)
    buffer_gz = s3BucketKey.get_contents_as_string()
    stringBuffer = StringIO.StringIO(buffer_gz)
    buffer_text = gzip.GzipFile(fileobj=stringBuffer)

    try:
      responseJSON = json.loads(buffer_text.read())
    except Exception, e:
      print e
    else:
      for count, itemTwo in enumerate(responseJSON['Records']):
        if itemTwo['eventSource'] == 'rds.amazonaws.com':
          print json.dumps(itemTwo, separators=(',', ':'), indent=2)
          print 'Event name = %s' % (itemTwo['eventName'])
          print '================================='

    stringBuffer.close()
    buffer_text.close()

if __name__ == '__main__':
  main()