[PYTHON] Importieren Sie Ihre eigenen Funktionen mit AWS Glue

Stolpern Sie, indem Sie Ihre eigene Funktion importieren

Ein einfacher Import ist nicht möglich, wenn allgemeine Prozesse oder komplizierte Funktionen mit AWS Glue in eine separate Datei geschrieben werden. Trotzdem habe ich beim Erstellen des Jobs nur den Dateipfad hinzugefügt, aber ich kannte den relevanten Teil des Dokuments nicht. Notieren Sie sich diesen.

Importmethode

Grundsätzlich Verwenden der Python-Bibliothek mit AWS Glue Dies kann unter Bezugnahme auf das Dokument in behandelt werden.

Der grundlegende Ablauf besteht darin, die Python-Datei zu komprimieren, in S3 abzulegen und den Pfad des Skripts festzulegen.

Dieses Mal werden wir die folgenden zwei einfachen Funktionen importieren. Es ist eine Funktion und eine Datei.

hello_world.py

def hello_world(name):
    return 'Hello World, ' + str(name)

calcu.py

def sum(x, y):
    return x + y

Ich habe diese beiden Dateien in einer Zip-Datei zusammengefasst und diesmal eine Zip-Datei namens "lib.zip" erstellt. Ich werde diese Zip-Datei an s3 geben. Angenommen, Sie platzieren es im Pfad s3: // example_backet / lib.zip. Fügen Sie diesen Pfad beim Erstellen oder Bearbeiten des Jobs in die Auswahl "Python-Bibliothekspfad" ein. Wenn mehrere Zip-Dateien vorhanden sind, geben Sie diese durch Kommas getrennt ein.

Jetzt können Sie nach dem Erstellen des Jobs wie gewohnt importieren.

sample.py

from hello_world import hello_world
from calcu import sum

hoge = hello_world('hoge') 
sum = sum(1, 2)