Exportieren Sie den RDS-Snapshot mit Lambda (Python) nach S3.

Einführung

Bei der Referenzierung von RDS-Daten

-Es gibt keinen Datums- und Zeitdump-Job usw. ・ Es gibt keine Lesereplik ・ Für die Anmeldung im kommerziellen Umfeld sind keine Fragen gestellt und eine Genehmigung erforderlich

Aus irgendeinem Grund war es manchmal schwierig, direkt in den Inhalt des RDS zu schauen. Zu diesem Zeitpunkt war es möglich, den Snapshot nach S3 nach Amazon RDS zu exportieren und mit Athena darauf zu verweisen, sodass ich tatsächlich den S3-Export des RDS-Snapshots mit Lambda versuchte.

Gesamtbild

Exportieren Sie RDS-Snapshots nach S3 in Lambda. Da die exportierten Daten von KMS verschlüsselt werden, muss auch der KMS-Schlüssel vorbereitet werden.

Annahme

-RDS und Snapshots wurden erstellt. -Der Exportziel S3-Bucket wurde erstellt.

Verfahren

1. Erstellen Sie Richtlinien und Rollen, die beim Exportieren von RDS-Snapshots nach S3 verwendet werden sollen

1-1. Richtlinienerstellung

Erstellen Sie eine Richtlinie für den Zugriff auf S3 über die Snapshot-Exportaufgabe mit dem folgenden JSON. (Ressource your-s3-Bucket gibt den S3-Bucket an, in den exportiert werden soll.)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": "arn:aws:s3:::*"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject*",
                "s3:GetObject*",
                "s3:DeleteObject*"
            ],
            "Resource": [
                "arn:aws:s3:::your-s3-bucket",
                "arn:aws:s3:::your-s3-bucket/*"
            ]
        }
    ]
}

1-2. Rollenerstellung

Erstellen Sie eine Rolle und hängen Sie die oben erstellte Richtlinie an. Bearbeiten Sie unter "Vertrauensbeziehung bearbeiten" das Dokument zur Zugriffssteuerungsrichtlinie wie folgt. (Service wird zu "export.rds.amazonaws.com")

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "export.rds.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

2. Erstellen eines KMS-Schlüssels

Erstellen Sie einen Schlüssel in KMS, um die exportierten Daten zu verschlüsseln.

1. Wählen Sie in der Verwaltungskonsole "Vom Kunden verwalteter Schlüssel" in KMS aus.
2. Zeigen Sie den Erstellungsassistenten mit "Schlüssel erstellen" an.
3. Schritt 1/5 Schlüsseltyp: Ziel
4. Schritt 2/5 Alias: Geben Sie den Namen eines beliebigen Schlüssels ein
5. Schritt 3/5 Schlüsseladministrator: Wählen Sie den Schlüssel und den Benutzer aus, der der Administrator sein soll
6. Schritt 4/5 Definieren von Schlüsselverwendungsberechtigungen: Hier nicht angegeben
7. Schritt 5/5 abgeschlossen

3. Erstellen Sie Lambda

3-1. Rolle, Richtlinienerstellung

Erstellen Sie eine Rolle für "AWSLambdaBasicExecutionRole", die gleichzeitig mit dem Erstellen einer Lambda-Funktion erstellt werden kann. Erstellen Sie die folgende Richtlinie, die für den Snapshot-Export separat erforderlich ist, und hängen Sie sie an die oben genannte Rolle an.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole",
                "rds:StartExportTask"
            ],
            "Resource": "*"
        }
    ]
}

3-2. Erstellung des Lambda-Codes

pyhton：lambda_handler.py

import json
import boto3
from datetime import datetime

SOURCE_ARN="YOUR_SOURCE_ARN"
S3_BUCKET_NAME="YOUR_S3_BUCKET_NAME"
IAM_ROLE_ARN="YOUR_IAM_ROLE_ARN"
KMS_KEY_ID="YOUR_KMS_KEY_ID"

client = boto3.client('rds')

def lambda_handler(event, context):
  
    export_task_identifier="mysnapshot" + datetime.now().strftime("%Y%m%d%H%M%S")
    
    response = client.start_export_task(
        ExportTaskIdentifier=export_task_identifier,
        SourceArn=SOURCE_ARN,
        S3BucketName=S3_BUCKET_NAME,
        IamRoleArn=IAM_ROLE_ARN,
        KmsKeyId=KMS_KEY_ID,
        )

-Stellen Sie die folgenden Variablen im Code entsprechend Ihrer Umgebung ein.

• Da für ExportTaskIdentifier die folgenden Einschränkungen gelten, werden Datum und Uhrzeit dieses Mal hinzugefügt.

Kennung exportieren Geben Sie einen Namen ein, um den Export zu identifizieren. Dieser Name muss unter allen Snapshot-Exporten des AWS-Kontos in der aktuellen AWS-Region eindeutig sein.

4. Fügen Sie dem Schlüsselbenutzer des KMS-Schlüssels eine Lambda-Rolle hinzu

Fügen Sie die in Schritt 3 in Lambda verwendete Rolle dem Schlüsselbenutzer des in Schritt 2 erstellten Schlüssels hinzu.

Wenn Sie dies nicht tun, wird beim Ausführen von Lambda der Fehler "Ein Fehler ist aufgetreten (KMSKeyNotAccessibleFault)" angezeigt.

Führen Sie nach dieser Arbeit Lambda aus, um den RDS-Snapshot nach S3 zu exportieren.

abschließend

Wenn Sie den Snapshot nur nach S3 exportieren möchten, können Sie dasselbe mit der Verwaltungskonsole tun. Ich wollte jedoch die Datenquelle zu einem System-Snapshot machen und die Daten zu Datum und Uhrzeit aktualisieren. Deshalb habe ich versucht, sie auf Lambda auszuführen.

Es wäre schön, wenn RDS auf der Verwaltungskonsole überprüft werden könnte, wenn es sich um eine kleine Referenz wie DynamoDB handelt, aber ich war der Meinung, dass die Methode zum Verweisen auf diesen Snapshot auch eine sichere und einfache Methode ist.

Verweise

Dieser Artikel wurde unter Bezugnahme auf die folgenden Informationen verfasst.

• DB-Snapshot-Daten nach Amazon S3 exportieren