[PYTHON] Tests faciles d'AWS S3 avec MinIO

introduction

Si vous souhaitez tester AWS S3, je vais vous montrer comment utiliser MinIO pour créer une maquette de S3 localement.

Démarrer le serveur MinIO

MinIO peut être utilisé en exécutant simplement ce qui suit (sans l'installer).

docker run -d -p 9000:9000 --name minio -v $PWD/data:/data \
  -e "MINIO_ACCESS_KEY=AKIA0123456789ABCDEF" \
  -e "MINIO_SECRET_KEY=0123456789/abcdefghi/ABCDEFGHI0123456789" \
  minio/minio server /data

• Veuillez changer «MINIO_ACCESS_KEY» et «MINIO_SECRET_KEY» en 20 caractères et 40 caractères selon le cas.
• Vous pouvez le gérer avec un navigateur à l'adresse http: //127.0.0.1: 9000.
• Le contenu de S3 est créé dans data du répertoire courant.

Exemple de boto3 avec des variables d'environnement

Préparation

import os
import boto3

bucket_name = 'sample'  #Nom du godet
use_minio = True  #Utiliser ou non MinIO
os.environ['AWS_ACCESS_KEY_ID'] = 'AKIA0123456789ABCDEF'
os.environ['AWS_SECRET_ACCESS_KEY'] = '0123456789/abcdefghi/ABCDEFGHI0123456789'

Supposons que les variables d'environnement ʻAWS_ACCESS_KEY_ID et ʻAWS_SECRET_ACCESS_KEY contiennent celles spécifiées par docker.

Créer un bucket

kwargs = dict(
    region_name="ap-northeast-1",
    aws_access_key_id=os.getenv("AWS_ACCESS_KEY_ID"),
    aws_secret_access_key=os.getenv("AWS_SECRET_ACCESS_KEY"),
)

if use_minio:
    kwargs["endpoint_url"] = "http://127.0.0.1:9000"

bucket = boto3.resource("s3", **kwargs).Bucket(bucket_name)

Lorsque vous utilisez MinIO, vous pouvez changer en spécifiant simplement "" http://127.0.0.1:9000 " dans ʻendpoint_url.

• Lors de l'utilisation de docker-compose, spécifiez le nom du service dans 127.0.0.1.

Exemple d'exécution

Supposons que le fichier test_file existe dans le répertoire courant.

bucket.create()  #Création de seau
bucket.upload_file("test_file", "upload_file")  # upload_Télécharger en tant que fichier
print(list(bucket.objects.all()))  #Liste des fichiers
bucket.download_file("upload_file", "download_file")  # download_Télécharger en tant que fichier
bucket.Object("upload_file").delete()  #Supprimer le fichier
bucket.delete()  #Suppression du bucket

Cela fonctionne comme un S3 normal. Veuillez cocher http: //127.0.0.1: 9000 selon le cas.

Exemple de boto3 par profil

Nous vous recommandons d'utiliser des profils plutôt que des variables d'environnement.

Préparation

-Veuillez installer aws CLI. --ʻAws configure --profile testpour créer un profil. Veuillez changertest` comme il convient.

Créer un bucket

Créez un bucket à l'aide du profil que vous avez créé. Lorsque vous utilisez MinIO, vous spécifierez profile_name et ʻendpoint_url`.

profile_name = "test"

cr = boto3.Session(profile_name=profile_name).get_credentials()
kwargs = dict(aws_access_key_id=cr.access_key, aws_secret_access_key=cr.secret_key)

if use_minio:
    kwargs["endpoint_url"] = "http://localhost:9000"

bucket = boto3.resource("s3", **kwargs).Bucket(bucket_name)

Le bucket créé peut être utilisé de la même manière que l'exemple précédent.

c'est tout