Comment importer la bibliothèque Python configurée dans EFS dans Lambda

introduction

Vous pouvez désormais monter ** EFS ** sur ** Lambda **. Cela vous permet d'importer des bibliothèques Python configurées dans EFS dans Lambda.

Auparavant, si vous vouliez importer une bibliothèque non Python dans Lambda, vous ne pouviez la télécharger que sur la couche Lambda. Cependant, cette méthode a une taille limite de «compressée à 50 Mo ou moins et décompressée à 250 Mo ou moins». Pour cette raison, il n'était pas possible d'utiliser plusieurs grandes bibliothèques. Par conséquent, si le système est un peu volumineux, il est nécessaire de prendre certaines mesures comme aller au docker, et Lambda à lui seul ne suffisait pas.

Cependant, maintenant que vous pouvez monter EFS sur Lambda, ce problème est résolu. `Vous pouvez maintenant importer des bibliothèques installées sur EFS dans Lambda. ''

how to

Aperçu

  1. Créez EFS
  2. Créez un point d'accès EFS
  3. Montez EFS sur EC2 pour le travail
  4. Installez Python et les bibliothèques sur EFS
  5. Importer vers Lambda

procédure

  1. Créez EFS
  1. Créez un point d'accès EFS (accès client) ID utilisateur propriétaire: 1001 ID du groupe de propriétaires: 1001 Autorisations: 777 Le chemin (répertoire) est défini ici sur / lambda

  2. Montez EFS sur EC2 fonctionnel

    sudo yum install -y amazon-efs-utils
    cd /mnt
    sudo mkdir efs
    sudo mount -t efs fs-xxxxx:/ efs
    
  3. Installez Python et les bibliothèques sur EFS Installez Python 3.8.1 et pandas ici

    sudo yum -y install gcc openssl-devel bzip2-devel libffi-devel
    wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgz
    tar xzf Python-3.8.1.tgz
    
    cd Python-3.8.1
    sudo ./configure --enable-optimizations
    sudo make altinstall
    
    # check
    python3.8 --version
    pip3.8 --version
    
    cd /mnt/efs
    pip3.8 install --upgrade --target lambda/ pandas
    
  4. Réglez la fonction Lambda Doit appartenir à VPC Ajout de la stratégie ʻAmazonElasticFileSystemClientReadWriteAcces` au rôle d'exécution de Lambda Ajouter EFS

  5. Importer avec Lambda Vous pouvez l'importer comme ça.

    import sys
    sys.path.append("/mnt/efs")
    import pandas as pd
    

Recommended Posts

Comment importer la bibliothèque Python configurée dans EFS dans Lambda
Comment utiliser la bibliothèque C en Python
Résumé de la façon d'importer des fichiers dans Python 3
Comment utiliser la bibliothèque d'images Python dans la série python3
[AWS / Lambda] Comment charger une bibliothèque externe Python
Comment développer en Python
Comment utiliser Python lambda
Comment configurer l'authentification par clé publique avec SSH
Comment configurer un environnement Python à l'aide de pyenv
Comment déboguer une bibliothèque Python standard dans Visual Studio
Comment collecter des images en Python
Comment utiliser les requêtes (bibliothèque Python)
Comment utiliser SQLite en Python
Comment importer des fichiers où vous le souhaitez en Python
Comment utiliser Mysql avec python
Comment envelopper C en Python
Comment utiliser ChemSpider en Python
Comment utiliser PubChem avec Python
Comment accélérer les calculs Python
Comment gérer le japonais avec Python
Comment configurer un serveur SMTP simple qui peut être testé localement en Python
[Note du débutant] Comment spécifier le chemin de lecture de la bibliothèque en Python
[Introduction à Python] Comment utiliser la classe en Python?
Comment définir dynamiquement des variables en Python
Comment faire R chartr () en Python
Comment configurer SVM à l'aide d'Optuna
[Itertools.permutations] Comment créer une séquence en Python
Pour définir le codage par défaut sur utf-8 en python
Comment utiliser BigQuery en Python
[Python] Comment utiliser import sys sys.argv
Comment obtenir stacktrace en python
Comment afficher la table quatre-vingt-dix-neuf en python
Comment extraire une zone de polygone en Python
Comment vérifier la version d'opencv avec python
Comment accéder à RDS depuis Lambda (python)
Comment changer de version de Python dans cloud9
Comment régler le contraste de l'image en Python
Comment utiliser __slots__ dans la classe Python
Comment remplir dynamiquement des zéros avec Python
Comment utiliser les expressions régulières en Python
Comment afficher Hello World en python
Comment utiliser is et == en Python
Comment écrire Ruby to_s en Python
Comment générer un nouveau groupe de journaux dans CloudWatch à l'aide de python dans Lambda
Comment obtenir la valeur du magasin de paramètres dans lambda (en utilisant python)
Résumé de la façon de définir la charpie principale (pep8, pylint, flake8) de Python
Configurer un serveur HTTPS simple avec Python 3
Comment recevoir des arguments de ligne de commande en Python
[REAPER] Comment jouer à Reascript avec Python
Comment effacer un taple dans une liste (Python)
Comment générer une séquence en Python et C ++
Comment incorporer des variables dans des chaînes python
Comment configurer une forêt aléatoire à l'aide d'Optuna
Comment définir l'emplacement du navigateur dans Headless Chrome
Python: j'ai pu récurer en lambda
Comment simplifier l'ajustement polymorphe restreint en python
Comment implémenter la mémoire partagée en Python (mmap.mmap)
Comment créer un fichier JSON en Python
Résumé de l'utilisation de MNIST avec Python