[PYTHON] So erstellen Sie AWS Lambda-Schichten, wenn Selen × Chrom auf AWS Lambda ausgeführt wird

In diesem Artikel

Von AWS Lambda, wenn Sie den Browser mit Selen × Chrom betreiben möchten Ich bin süchtig danach, wie man eine Ebene erstellt, also werde ich sie veröffentlichen.

Was du machen willst

Ich möchte Selen x Chrom auf AWS Lambda ausführen.

Umgebung

windows 10 Pro python 3.7 chromdriver 2.37 headless-chromium 64.0.3282.167

Nicht auflisten

• So erstellen und rufen Sie die AWS-Lambda-Funktion auf -Wie erstelle ich ein Python-Programm, das den Browser mit Selenium-Webdriver bedienen kann?

Wo ich gestolpert bin

1. Einheit zur Herstellung von AWS Lambda-Schichten
2. So installieren und rufen Sie AWS Lambda Layers auf

1. Einheit zur Herstellung von AWS Lambda-Schichten

Erstens sind AWS Lambda-Schichten wie allgemeine Funktionen, die von Lamda gemeinsam verwendet werden können. Es kann wie unten gezeigt vom Lambda-Hauptgerät aus als aufgerufen bezeichnet werden. Indem Sie einen Teil der Funktion ausschneiden, können Sie den Lambda-Körper leichter machen. Indem Sie es leichter machen, können Sie den Nachteil vermeiden, dass der Code nicht angezeigt werden kann, weil die Kapazität des Modulsatzes beispielsweise zu groß ist, wie unten gezeigt.

Dieses Mal wollte ich es mit chromeDriver aus Python mit Selen implementieren, also Erstellen Sie die folgenden zwei Ebenen.

** 1. Schicht, in der die Selenbibliothek gespeichert ist ** ** 2. Ebene zum Speichern von chromeDriver **

↓ Ebenenkonfiguration

Das Herstellungsverfahren wird unten beschrieben.

1. Schicht, in der die Selenbibliothek gespeichert ist

1. Vorbereitung einer Reihe von zu installierenden Bibliotheken

Führen Sie den folgenden Befehl in einem beliebigen Ordner aus. Ich denke, Sie haben bereits Selen mit Pip installiert. Da es eine Aufgabe ist, die zu installierende Bibliothek vorzubereiten, erfolgt dies an einem anderen Ort als dem Ausführungsmodul.

Vorbereitung des Selenmoduls

   pip install -t ./python/lib/python3.7/site-packages selenium

2. Die folgende Konfiguration ist abgeschlossen. (In einer Windows-Umgebung implementiert.)

3.zip Komprimierung

Zip aus dem Python-Ordner.

4. Erstellen Sie AWS Lambda-Ebenen

Erstellen Sie neue Ebenen auf dem Lambda-Konsolenbildschirm. Geben Sie zum Zeitpunkt der Erstellung die Zip-Datei 3 an und erstellen Sie sie.

5. Fügen Sie der Lambda-Funktion eine Ebene hinzu

Siehe die in 4 mit der Lambda-Funktion erstellten Ebenen. Wenn Sie im Bildschirm "Ebeneneinstellungen" die Option "Benutzerdefinierte Ebene **" auswählen, wird diese in den Optionen angezeigt.

6. Mit Import anrufen

Anruf von Lambda mit Import.

Importanweisung

from selenium import webdriver

Wenn die obige Konfiguration falsch ist, tritt der folgende Fehler auf.

Fehleranweisung

[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'selenium'

2. Ebene zum Speichern von chromeDriver

1. Vorbereitung des Fahrers

Bereiten Sie den offiziell verteilten Treiber vor (2 Punkte). Chromdriver-Händler: https://chromedriver.storage.googleapis.com/index.html?path=2.37/ Headless-Chrom-Distributor: https://github.com/adieuadieu/serverless-chrome/releases/download/v1.0.0-37/stable-headless-chromium-amazonlinux-2017-03.zip

2.zip Komprimierung

Platzieren Sie die beiden oben genannten Punkte in demselben Ordner und komprimieren Sie sie in einer Linux-Umgebung.

Wenn Sie es in einer Windows-Umgebung komprimieren, wird der folgende Fehler angezeigt, auch wenn Sie lamda ausführen. Selbst in der Linux-Umgebung tritt der folgende Fehler auf, wenn die Berechtigung jeder Datei nicht 777 ist.

Fehleranweisung

[ERROR] WebDriverException: Message: 'chromedriver' executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chromedriver/home

Für WindowsPC gibt es die folgenden Methoden zum Komprimieren in der Linux-Umgebung. Ich könnte es auch tun.

1. Zip in WSL-Umgebung * Berechtigung 777 festlegen
2. Erstellen Sie mit Docker Desktop eine geeignete Umgebung (Ich habe diese PHP-Umgebung verwendet, die ich zufällig verwendet habe. Https://hub.docker.com/_/php)

3. Fügen Sie der Lambda-Funktion eine Ebene hinzu

Siehe die in 4 mit der Lambda-Funktion erstellten Ebenen.

• Die Vorgehensweise ist die gleiche wie zuvor.

4. Anruf von Lambda

Rufen Sie es auf, indem Sie den folgenden Pfad von Lambda angeben. In der Spezifikation der AWS Lambda-Schichten wird sie in ** / opt ** platziert. Geben Sie daher Folgendes an.

Importanweisung

driver = webdriver.Chrome(executable_path ="/opt/chromedriver", chrome_options=options)

Wenn der Pfad falsch ist, z. B. wenn keine Option vorhanden ist, tritt ein Fehler auf.

Fehleranweisung

[ERROR] WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

Ein weiterer Punkt zu beachten

Sowohl Lamda als auch Selen sind langsam. Stellen Sie daher den Timeout-Wert von Lamda auf einen längeren Wert ein. Der Standardwert ist 3 Sekunden, daher tritt fast eine Zeitüberschreitung auf und der folgende Fehler tritt auf.

Fehleranweisung

Task timed out after XX.XX seconds

Einstellen des Timeout-Werts

Implementierung

Der endgültige Code für Lamda ist unten.

lamda_function.py

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def lambda_handler(event, context):
    LINE_NOTIFY_URL = "https://notify-api.line.me/api/notify"

    options = Options()
    options.binary_location = '/opt/headless-chromium'
    options.add_argument('--headless')
    options.add_argument('--no-sandbox')
    options.add_argument('--single-process')
    options.add_argument('--disable-dev-shm-usage')

    driver = webdriver.Chrome(executable_path ='/opt/chromedriver', chrome_options=options)
    driver.get("https://xxxxxxxxxxx")

Zusammenfassung

Bei anderen Artikeln verwendeten die meisten serverless.yml oder cloudFormation. Ich wusste nicht viel darüber, also habe ich die obige Methode gewählt. Ich hoffe, es ist hilfreich für diejenigen, die Selen zum ersten Mal ohne Server installieren.