Führen Sie Python Script regelmäßig in der AWS Data Pipeline aus

Einführung

Ich denke, es gibt einige Anforderungen, die Python Script regelmäßig auf AWS ausführen möchten. Es kann realisiert werden, indem EC2 eingerichtet und mit cron ausgeführt wird. Hier werde ich jedoch einen Einblick geben, wie es mithilfe der AWS Data Pipeline realisiert werden kann.

Beachten Sie jedoch, dass der Ausführungszyklus als Einschränkung der Datenpipeline nur auf 15 Minuten oder mehr festgelegt werden kann und nicht jede Minute ausgeführt werden kann.

Es ist auch möglich, die Lambda-Funktion in [Data Pipeline] regelmäßig auszuführen. ](Http://qiita.com/taka4sato/items/e98690742d0092dd8779) Wenn das Skript Node.js oder Java ist, ist es meiner Meinung nach einfacher, dies auf diese Weise zu tun.

Gesamtdurchfluss

Der Fluss der einzustellenden Elemente ist wie folgt. Es wird davon ausgegangen, dass das Python-Skript selbst bereits fertiggestellt wurde.

Platzieren Sie Python Script auf S3 Bucket

Erstellen Sie einen S3-Bucket, um Python Script zu platzieren (vorhandener Bucket kann verwendet werden)
Laden Sie Python Script in S3 Bucket hoch

Erstellen einer Datenpipeline

Gewähren Sie der IAM-Rolle für die Datenpipeline Zugriff auf S3
Stellen Sie die Datenpipeline so ein, dass Shell-Skript regelmäßig ausgeführt wird Fügen Sie im Shell-Skript OS Middleware hinzu, fügen Sie die Python-Bibliothek hinzu und führen Sie das Python-Skript selbst aus.

Überprüfen Sie das Verarbeitungsergebnis der Datenpipeline

Überprüfen Sie das Standardprotokoll der Datenpipeline und überprüfen Sie, ob das Ausführungsergebnis von Python Script ausgegeben wird.

Ergänzung

Der Ausführungszyklus des Datenpipeline-Zeitplans beträgt mindestens alle 15 Minuten

Platzieren Sie Python Script auf S3 Bucket

Erstellen eines S3-Buckets

Erstellen Sie einen S3-Bucket, um das Python-Skript zu platzieren. Natürlich kann der vorhandene Eimer verwendet werden. Gehen Sie zu AWS Console → S3 und führen Sie die folgenden Schritte aus, um einen S3-Bucket zu erstellen.

Wählen Sie "Bucket erstellen" und geben Sie ihm einen geeigneten Namen (vorausgesetzt, Sie haben einen Bucket mit dem Namen "datapipeline-python-test" erstellt).

Laden Sie Python Script in S3 Bucket hoch

Führen Sie die folgenden Schritte aus, um Python Script in S3 Bucket hochzuladen.

Gehen Sie zu dem soeben erstellten Bucket und wählen Sie "Aktionen" → "Hochladen", um das Python-Skript hochzuladen Hier wird angenommen, dass das folgende Skript mit dem Namen "datapipeline_test.py", das einfach die aktuelle Zeit druckt, hochgeladen wurde.

`datapipeline_test.py`



#!/usr/bin/env python
# -*- coding: utf-8 -*-

import datetime
print 'Script run at ' + datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')

Erstellen einer Datenpipeline

Gehen Sie zu AWS Console → Datenpipeline und erstellen Sie eine Datenpipeline, indem Sie die folgenden Schritte ausführen.

Stellen Sie den Namen entsprechend ein (hier Test Pipeline)
Die Quelle wählt "AWS CLI-Befehl ausführen" in "Mit Vorlage erstellen" aus
Geben Sie als Zeitplan "15 Minuten" für "Alle ausführen" an (wählen Sie "Einmal bei Pipeline-Aktivierung" aus, wenn Sie es nur einmal ausführen möchten).
Geben Sie für die Protokollierung der Pipeline-Konfiguration den oben erstellten S3-Bucket mit dem Namen "datapipeline-python-test" an.
Sicherheit / Zugriff und Tag können als Standard beibehalten werden
Legen Sie das folgende Skript im AWS CLI-Befehl fest (eine Ergänzung zum Inhalt finden Sie am Ende).

sudo yum -y install python-devel gcc && sudo update-alternatives --set python /usr/bin/python2.7 && curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py" && sudo python ./get-pip.py && pip install boto3 --user && aws s3 cp s3://datapipeline-python-test/datapipeline_test.py ./datapipeline_test.py && cat datapipeline_test.py && python ./datapipeline_test.py

Wählen Sie mit dieser Einstellung "Architekt bearbeiten", um einmal eine Datenpipeline zu erstellen. Nach der Erstellung werden zwei IAM-Rollen in der IAM-Rolle erstellt: "DataPipelineDefaultResourceRole" und "DataPipelineDefaultRole".

IAM-Rollenberechtigungseinstellungen

Da einige Berechtigungen unmittelbar nach dem Erstellen der IAM-Rolle nicht ausreichen, erteilen Sie S3 Zugriffsberechtigungen für "DataPipelineDefaultResourceRole" und "DataPipelineDefaultRole". Gehen Sie zu AWS Console → Identity & Access Management → Rollen und führen Sie die folgenden Schritte aus, um Berechtigungen zu erteilen.

Klicken Sie auf "DataPipelineDefaultResourceRole"
Suchen Sie unter Verwaltete Richtlinien → Richtlinie anhängen nach "AmazonS3FullAccess", wählen Sie "AmazonS3FullAccess" aus und wählen Sie "Richtlinie anhängen" aus.

Legen Sie die gleichen Berechtigungen für "DataPipelineDefaultRole" fest

Datenpipeline aktivieren

Gehen Sie zu AWS Console → Datenpipeline und aktivieren Sie die soeben erstellte Datenpipeline.

Wählen Sie "Test Pipeline"
Wählen Sie "Aktionen" → "Aktivieren"

Die periodische Ausführung der Datenpipeline ist jetzt aktiviert. Es läuft alle 15 Minuten, also warten wir eine Weile.

Überprüfen Sie das Verarbeitungsergebnis der Datenpipeline

Gehen Sie zu AWS Console → Datenpipeline, wählen Sie "Test Pipeline", wählen Sie "Stdout" unter "CliActivity" → "Registerkarte" Versuche "und bestätigen Sie, dass die aktuelle Zeit von Python Script ausgegeben wird.

Ergänzung zu ShellScript

Ich habe nicht viel getan, aber ich werde den Inhalt des obigen ShellScript ergänzen.

sudo yum -y install python-devel gcc
Zusätzliche Middleware ist im Betriebssystem enthalten (vorausgesetzt, einige Python-Bibliotheken erfordern gcc usw.). Es kann gelöscht werden, wenn die Amazon Linux Standard Middleware ausreicht
sudo update-alternatives --set python /usr/bin/python2.7
Python 2.7 ist angegeben. Vermeiden Sie Standard-Python-Version kann Fehler in der Bibliothek verursachen
curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py" && sudo python ./get-pip.py
Pip ist enthalten. Es kann gelöscht werden, wenn die Standard-Python-Bibliothek ausreicht
pip install boto3 --user
Ich habe eine zusätzliche Python-Bibliothek mit pip eingefügt. Bei Verwendung von pip ist aufgrund der Berechtigung das Argument "--user" erforderlich. Wenn Sie mehrere Bibliotheken einfügen möchten, können Sie "pip install request boto3 numpy --user" usw. auflisten.
aws s3 cp s3://datapipeline-python-test/datapipeline_test.py ./datapipeline_test.py
Kopieren des Python-Skripts nach Local
cat datapipeline_test.py
Der Inhalt der von S3 heruntergeladenen Datei wird angezeigt und kann bei Bedarf gelöscht werden.
python ./datapipeline_test.py
Schließlich führe ich Python Script aus

Alarm bei Fehler überspringen

Es ist auch möglich, Alarm-E-Mails mit der AWS SNS-Funktion zu überspringen, wenn Python Script fehlschlägt. Ich werde die Erklärung von AWS SNS selbst weglassen, aber ich werde die Einstellungen in der Datenpipeline kurz ergänzen.

Gehen Sie zu AWS Console → Data Pipeline, wählen Sie "Test Pipeline" und dann "Edit Pipeline"
Wählen Sie im rechten Bereich unter "Aktivitäten" die Option "Optionales Feld hinzufügen" → "Bei Fehler".
Eine Zeile mit der Aufschrift "On Fail" wird zu "Activities" hinzugefügt. Wählen Sie also "Create new: Action" und "Defaul Action1" wird erstellt.
Da sich im rechten Bereich unter "Andere" ein Einstellungselement namens "DefaulAction1" befindet,
Typ bis SnsAlarm
Topic Arn erstellt auf AWS SNS auf Topic Arn
"Nachricht" ist der Hauptteil der Alarm-E-Mail, "Betreff" ist der Betreff der Alarm-E-Mail
"Rolle" ist standardmäßig auf "DataPipelineDefaultRole" eingestellt, wählen Sie jedoch eine Rolle mit der Berechtigung "AmazonSNSFullAccess" aus.

Es ist in Ordnung, wenn Sie einstellen. Es ist möglich, AWS SNS zum Zeitpunkt des Skriptfehlers oder -erfolgs auszulösen. Vergessen Sie nicht, die Rollenberechtigung zum Ausführen von Sns zu erteilen.

Schließlich

Wenn Python Script regelmäßig mit Data Pipeline ausgeführt werden kann, müssen Hosts nicht einzeln für die regelmäßige Ausführung gesichert oder verwaltet werden, und es werden verschiedene Fortschritte erzielt.