So importieren Sie die in EFS eingerichtete Python-Bibliothek in Lambda

Einführung

Sie können jetzt ** EFS ** auf ** Lambda ** mounten. Auf diese Weise können Sie in EFS eingerichtete Python-Bibliotheken in Lambda importieren.

Wenn Sie zuvor eine Nicht-Python-Bibliothek in Lambda importieren wollten, konnten Sie sie bisher nur in die Lambda-Ebene hochladen. Dieses Verfahren hat jedoch eine Größenbeschränkung von "auf 50 MB oder weniger komprimiert und auf 250 MB oder weniger dekomprimiert". Aus diesem Grund war es nicht möglich, mehrere große Bibliotheken zu verwenden. Wenn das System etwas groß ist, müssen daher einige Maßnahmen ergriffen werden, z. B. zum Docker gehen, und Lambda allein reichte nicht aus.

Jetzt, da Sie EFS auf Lambda mounten können, ist dieses Problem behoben. `Sie können jetzt auf EFS installierte Bibliotheken in Lambda importieren. ``

how to

Überblick

  1. Erstellen Sie ein EFS
  2. Erstellen Sie einen EFS-Zugangspunkt
  3. Montieren Sie EFS für Arbeiten an EC2
  4. Installieren Sie Python und Bibliotheken auf EFS
  5. Import nach Lambda

Verfahren

  1. Erstellen Sie ein EFS --Erstellungsverfahren Kürzung
  1. Erstellen Sie einen EFS-Zugangspunkt (Clientzugriff). Besitzer Benutzer ID: 1001 Eigentümergruppen-ID: 1001 Berechtigungen: 777 Der Pfad (Verzeichnis) wird hier auf / lambda gesetzt

  2. Montieren Sie das EFS am funktionierenden EC2

    sudo yum install -y amazon-efs-utils
    cd /mnt
    sudo mkdir efs
    sudo mount -t efs fs-xxxxx:/ efs
    
  3. Installieren Sie Python und Bibliotheken auf EFS Installieren Sie Python 3.8.1 und Pandas hier

    sudo yum -y install gcc openssl-devel bzip2-devel libffi-devel
    wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgz
    tar xzf Python-3.8.1.tgz
    
    cd Python-3.8.1
    sudo ./configure --enable-optimizations
    sudo make altinstall
    
    # check
    python3.8 --version
    pip3.8 --version
    
    cd /mnt/efs
    pip3.8 install --upgrade --target lambda/ pandas
    
  4. Stellen Sie die Lambda-Funktion ein Muss zu VPC gehören Die Richtlinie "AmazonElasticFileSystemClientReadWriteAcces" wurde zur Ausführungsrolle von Lambda hinzugefügt EFS hinzufügen

  5. Importieren Sie mit Lambda Sie können es so importieren.

    import sys
    sys.path.append("/mnt/efs")
    import pandas as pd
    

Recommended Posts

So importieren Sie die in EFS eingerichtete Python-Bibliothek in Lambda
Verwendung der C-Bibliothek in Python
Zusammenfassung zum Importieren von Dateien in Python 3
Verwendung der Python-Bildbibliothek in der Python3-Serie
[AWS / Lambda] Laden einer externen Python-Bibliothek
Wie man in Python entwickelt
Wie benutzt man Python Lambda?
So richten Sie die Authentifizierung mit öffentlichem Schlüssel mit ssh ein
So richten Sie eine Python-Umgebung mit pyenv ein
So debuggen Sie eine Standard-Python-Bibliothek in Visual Studio
So sammeln Sie Bilder in Python
Verwendung von Anfragen (Python Library)
Verwendung von SQLite in Python
So importieren Sie Dateien in Python an eine beliebige Stelle
Wie man MySQL mit Python benutzt
So verpacken Sie C in Python
Verwendung von ChemSpider in Python
Verwendung von PubChem mit Python
So beschleunigen Sie Python-Berechnungen
Umgang mit Japanisch mit Python
So richten Sie einen einfachen SMTP-Server ein, der lokal in Python getestet werden kann
[Anfängernotiz] So legen Sie den Lesepfad der Bibliothek in Python fest
[Einführung in Python] Wie verwende ich eine Klasse in Python?
Dynamisches Definieren von Variablen in Python
So machen Sie R chartr () in Python
So richten Sie SVM mit Optuna ein
[Itertools.permutations] So löschen Sie eine Sequenz in Python
So setzen Sie die Standardcodierung in Python auf utf-8
So arbeiten Sie mit BigQuery in Python
[Python] Verwendung von import sys sys.argv
Wie bekomme ich Stacktrace in Python?
So zeigen Sie die neunundneunzig Tabelle in Python an
So extrahieren Sie einen Polygonbereich in Python
So überprüfen Sie die Version von opencv mit Python
Zugriff auf RDS von Lambda (Python)
So wechseln Sie die Python-Version in Cloud9
So passen Sie den Bildkontrast in Python an
Verwendung von __slots__ in der Python-Klasse
So füllen Sie mit Python dynamisch Nullen aus
Verwendung regulärer Ausdrücke in Python
So zeigen Sie Hello World in Python an
Verwendung ist und == in Python
Wie schreibe ich Ruby to_s in Python
So generieren Sie eine neue Protokollgruppe in CloudWatch mit Python in Lambda
So erhalten Sie den Wert aus dem Parameterspeicher in Lambda (mit Python)
Zusammenfassung zum Festlegen der Hauptfussel (pep8, pylint, flake8) von Python
Richten Sie mit Python 3 einen einfachen HTTPS-Server ein
So empfangen Sie Befehlszeilenargumente in Python
[REAPER] Wie man Reascript mit Python spielt
So löschen Sie einen Taple in einer Liste (Python)
So generieren Sie eine Sequenz in Python und C ++
Einbetten von Variablen in Python-Strings
So richten Sie eine zufällige Gesamtstruktur mit Optuna ein
So legen Sie den Browserstandort in Headless Chrome fest
Python: Ich konnte in Lambda rekursieren
So vereinfachen Sie die eingeschränkte Polypoly-Anpassung in Python
So implementieren Sie Shared Memory in Python (mmap.mmap)
So erstellen Sie eine JSON-Datei in Python
Zusammenfassung der Verwendung von MNIST mit Python