Copie de fichiers directement d'Amazon EC2 (Amazon Linux) vers S3

Copiez des fichiers directement d'Amazon EC2 (Linux) vers S3

Vous souhaiterez peut-être exporter le fichier de données dans EC2 vers un autre environnement tout en vérifiant quelque chose dans l'environnement AWS. (J'en ai pas mal, mais qu'en est-il de tout le monde ...) Si EC2 est un OS de serveur Windows, vous pouvez utiliser un navigateur, donc je pense qu'il y a plusieurs façons de le faire, comme le télécharger sur Box etc. ou le joindre à un e-mail Web, mais que faire avec Linux OS (´ ・ ω ・ ｀). Par conséquent, je voudrais vérifier la méthode de téléchargement directement d'EC2 vers S3 à l'aide de l'AWS CLI et de téléchargement vers un autre environnement à partir de l'écran de la console de S3.

Ce que vous voulez réaliser

Je souhaite exporter le fichier de données dans EC2 (Linux) vers S3 afin qu'il puisse être téléchargé à partir de l'écran de la console S3.

procédure

1. Déployez EC2
2. Créez des répertoires et des fichiers dans EC2
3. Attachez un rôle pour le téléchargement S3 vers EC2
4. Créez un compartiment S3 de destination de copie
5. Copiez les données dans S3 avec l'AWS CLI

Je l'ai essayé

Commencez par déployer EC2 et connectez-vous avec SSH. Ensuite, créez un répertoire et créez un fichier de test à copier dans S3.

• Diverses informations sur la procédure de déploiement d'EC2 sont disponibles à divers endroits, je vais donc les omettre ici.

Basculer l'utilisateur sur #root 　sudo su root　 #Télécharger des informations 　yum -y update Créez un répertoire (/ test-share) dans # / home 　cd /home 　mkdir /test-share 　cd /test-share #Créer un fichier de test (test.txt) 　touch test.txt #Vérifiez si le fichier a été créé 　ls

Le fichier de test à copier sur S3 est maintenant prêt.

J'ai déployé EC2, mais dans l'état actuel, je n'ai pas l'autorité (rôle) pour accéder à S3, donc je dois attacher un rôle.

Comment faire un rouleau Accédez à IAM depuis l'écran de la console AWS et cliquez sur "Rôle"

Cliquez ensuite sur "Créer un rôle"

Sélectionnez "EC2" pour les cas d'utilisation généraux

Sélectionnez une stratégie à attribuer à un rôle Entrez S3 dans le filtre de politique et dans les politiques affichées Cette fois, je veux accéder (télécharger, télécharger, parcourir) S3, donc sélectionnez [AmzzonS3FullAccess].

Balisage au besoin (les balises ne sont pas définies cette fois)

Définissez le nom du rôle de manière arbitraire et cliquez sur "Créer"

Une fois le rôle créé, attachez-le à EC2 Sélectionnez l'instance cible sur l'écran de la console EC2 et sélectionnez "Action" - "Paramètres d'instance" - "Affectation / Remplacer de rôle IAM".

Attribuez l'ID et le rôle de l'instance cible, puis cliquez sur "Appliquer"

Vous avez maintenant associé un rôle pour EC2 pour accéder à S3.

Ensuite, créez un compartiment S3 (dossier test-20200624) dans lequel copier les données. Accédez à l'écran de la console S3 et "Créer un compartiment"

Entrez "test-20200624-folder" et la région (cette fois Asie-Pacifique) dans le nom du compartiment, puis cliquez sur "Suivant".

Je vais définir le seau, mais cette fois, il n'y a pas de changement particulier dans le paramètre, donc "Suivant" tel quel

Assurez-vous que Bloquer l'accès public est coché et cliquez sur "Suivant"

• Puisqu'il s'agit d'un environnement de test, l'accès public n'a pas besoin d'être bloqué, mais la valeur par défaut est block. 　 Si vous pouvez procéder à "Créer un compartiment" avec cela, les préparatifs du côté S3 sont également OK.

Après avoir attaché le rôle, entrez la commande pour copier les données vers S3 dans l'AWS CLI.

#Connectez-vous à nouveau à EC2 avec SSH et passez à la racine 　sudo su root

Déplacer vers le répertoire où se trouve le fichier de test

　cd /home /test-share

Copier les données vers S3 avec #aws cli 　aws s3 cp /test.txt s3://test-20200624-folder

• Comme aws cli est installé en standard dans EC2, il n'est pas nécessaire de l'installer avec la commande yum. #Upload après l'exécution de la commande: ./test.txt to s3: //test-0624-folder/test.txt s'affiche. Vérifiez s'il y a des données dans # S3 aws s3 ls s3://test-20200624-folder

2020-06-24 06:59:35 0 C'est OK s'il est affiché comme test.txt

Enfin, vérifiez si vous pouvez télécharger "test.txt" depuis l'écran de la console S3. Lorsque vous accédez à l'écran de la console S3 et vérifiez le compartiment cible

J'ai pu confirmer que test.txt a été copié! Après cela, sélectionnez "Télécharger" dans "Action" pour terminer l'exportation du fichier vers un autre environnement.

finalement

Il y a des articles avec le même contenu à divers endroits, mais il n'y avait aucune explication pour attacher le rôle EC2, et même si j'ai suivi la procédure, une erreur s'est produite, alors j'espère que cela sera utile pour les mémorandums et les débutants.

Vous pouvez utiliser l'AWS CLI non seulement pour copier des données d'EC2 vers S3, mais également pour synchroniser un répertoire spécifique d'EC2 avec un dossier dans le compartiment S3. Ce serait pratique si EC2 avait une fonction d'autorité de certification racine et pouvait être utilisé pour exporter le certificat créé ou envoyer un fichier journal pour vérification. D (`・ ω ・ ')