Kopieren von Dateien direkt von Amazon EC2 (Amazon Linux) nach S3

Kopieren Sie Dateien direkt von Amazon EC2 (Linux) nach S3

Möglicherweise möchten Sie die Datendatei in EC2 in eine andere Umgebung exportieren, während Sie etwas in der AWS-Umgebung überprüfen. (Ich habe ziemlich viele, aber was ist mit allen ...) Wenn EC2 ein Windows-Server-Betriebssystem ist, können Sie einen Browser verwenden. Ich denke, es gibt verschiedene Möglichkeiten, dies zu tun, z. B. das Hochladen auf Box usw. oder das Anhängen an eine Webmail, aber was tun mit dem Linux-Betriebssystem (´ ´ ω ・ ｀). Daher möchte ich die Methode zum Hochladen direkt von EC2 nach S3 mithilfe der AWS-CLI und zum Herunterladen in eine andere Umgebung vom Konsolenbildschirm von S3 überprüfen.

Was Sie erreichen wollen

Ich möchte die Datendatei in EC2 (Linux) nach S3 exportieren, damit sie vom S3-Konsolenbildschirm heruntergeladen werden kann.

Verfahren

1. Stellen Sie EC2 bereit
2. Erstellen Sie Verzeichnisse und Dateien in EC2
3. Fügen Sie eine Rolle für den S3-Upload zu EC2 hinzu
4. Erstellen Sie einen S3-Bucket für das Kopierziel
5. Kopieren Sie die Daten mit AWS CLI nach S3

Ich versuchte es

Stellen Sie zuerst EC2 bereit und melden Sie sich mit SSH an. Erstellen Sie dann ein Verzeichnis und eine Testdatei zum Kopieren nach S3.

• Verschiedene Informationen zum EC2-Bereitstellungsverfahren sind an verschiedenen Stellen verfügbar, daher werde ich sie hier weglassen.

Wechseln Sie den Benutzer zu #root 　sudo su root

Informationen hochladen

　yum -y update

Erstellen Sie ein Verzeichnis (/ test-share) in # / home 　cd /home 　mkdir /test-share 　cd /test-share #Erstellen Sie eine Testdatei (test.txt) 　touch test.txt #Überprüfen Sie, ob die Datei erstellt wurde 　ls

Jetzt ist die zu S3 zu kopierende Testdatei fertig.

Ich habe EC2 bereitgestellt, aber im aktuellen Status habe ich nicht die Berechtigung (Rolle), auf S3 zuzugreifen. Daher muss ich eine Rolle hinzufügen.

Wie man eine Rolle macht Greifen Sie über den AWS-Konsolenbildschirm auf IAM zu und klicken Sie auf "Rolle".

Klicken Sie dann auf "Rolle erstellen".

Wählen Sie "EC2" für allgemeine Anwendungsfälle

Wählen Sie eine Richtlinie aus, die einer Rolle zugewiesen werden soll Geben Sie S3 in den Richtlinienfilter und in die angezeigten Richtlinien ein Dieses Mal möchte ich auf S3 zugreifen (hochladen, herunterladen, durchsuchen), also wählen Sie [AmzzonS3FullAccess].

Tagging nach Bedarf (Tags werden diesmal nicht gesetzt)

Stellen Sie den Rollennamen beliebig ein und klicken Sie auf "Erstellen".

Sobald die Rolle erstellt wurde, hängen Sie sie an EC2 an Wählen Sie die Zielinstanz auf dem EC2-Konsolenbildschirm aus und wählen Sie "Aktion" - "Instanzeinstellungen" - "Zuweisung / Ersetzen von IAM-Rollen".

Weisen Sie die Zielinstanz-ID und die Rolle zu und klicken Sie auf "Übernehmen".

Sie haben jetzt eine Rolle für EC2 für den Zugriff auf S3 angehängt.

Erstellen Sie als Nächstes einen S3-Bucket (test-20200624-Ordner), in den die Daten kopiert werden sollen. Rufen Sie den S3-Konsolenbildschirm auf und klicken Sie auf "Bucket erstellen".

Geben Sie "test-20200624-Ordner" und Region (diesmal Asien-Pazifik) in den Bucket-Namen ein und klicken Sie auf "Weiter".

Ich werde den Bucket einstellen, aber dieses Mal gibt es keine besondere Änderung in der Einstellung, also "Weiter" wie es ist

Stellen Sie sicher, dass Öffentlicher Zugriff blockieren aktiviert ist, und klicken Sie auf "Weiter".

• Da dies eine Testumgebung ist, muss der öffentliche Zugriff nicht blockiert werden, der Standardwert ist jedoch blockieren. 　 Wenn Sie damit mit "Bucket erstellen" fortfahren können, sind auch die Vorbereitungen auf der S3-Seite in Ordnung.

Geben Sie nach dem Anhängen der Rolle den Befehl ein, um die Daten in der AWS-CLI nach S3 zu kopieren.

#Melden Sie sich mit SSH erneut bei EC2 an und wechseln Sie zu root 　sudo su root

Wechseln Sie in das Verzeichnis, in dem sich die Testdatei befindet

　cd /home /test-share

Kopieren Sie Daten mit #aws cli nach S3 　aws s3 cp /test.txt s3://test-20200624-folder

• Da aws cli standardmäßig in EC2 installiert ist, muss es nicht mit dem Befehl yum installiert werden.

Nach Ausführung des Befehls hochladen: ./test.txt to s3: //test-0624-folder/test.txt wird angezeigt.

Überprüfen Sie, ob Daten in # S3 vorhanden sind aws s3 ls s3://test-20200624-folder

2020-06-24 06:59:35 0 Es ist in Ordnung, wenn es als test.txt angezeigt wird

Überprüfen Sie abschließend, ob Sie "test.txt" vom S3-Konsolenbildschirm herunterladen können. Wenn Sie auf den S3-Konsolenbildschirm zugreifen und den Zielbereich überprüfen

Ich konnte bestätigen, dass test.txt kopiert wurde! Wählen Sie anschließend "Download" unter "Aktion", um den Export der Datei in eine andere Umgebung abzuschließen.

Schließlich

Es gibt Artikel mit demselben Inhalt an verschiedenen Stellen, aber es gab keine Erklärung, um die EC2-Rolle zuzuordnen, und selbst wenn ich das Verfahren befolgt habe, ist ein Fehler aufgetreten, sodass ich hoffe, dass er für Memoranden und Anfänger nützlich sein wird.

Mit der AWS-CLI können Sie nicht nur Daten von EC2 nach S3 kopieren, sondern auch ein bestimmtes Verzeichnis von EC2 mit einem Ordner im S3-Bucket synchronisieren. Es wäre praktisch, wenn EC2 eine Root-CA-Funktion hätte und zum Exportieren des erstellten Zertifikats oder zum Senden einer Protokolldatei zur Überprüfung verwendet werden könnte. D (`・ ω ・ ')