[GO] Laden Sie Dateien in den Cloud Storage (GCS) von GCP hoch. ~ Laden Sie mit lokalem Python

Umgebung

• MacOS X 10.14.5 (Mojave)
• Homebrew 2.2.5
• Google Cloud SDK 279.0.0
• gsutil 4.47

Registrierung des GCP-Kontos

[Erklärung mit Bild] Registrieren Sie ein Konto mit einer kostenlosen Testversion von Google Cloud Platform (GCP)

Installieren Sie das Google Cloud SDK

Installieren des Google Cloud SDK ~ Initialisieren

Projekterstellung

Erstellen Sie ein Projekt mit Google Cloud SDK

Eimererstellung

$ gsutil ist ein Befehl zum Betreiben des Speichers.

$ gsutil mb -l us-central1 gs://Eimername

Datei-Upload

• Wenn auf gcs kein Verzeichnis vorhanden ist, wird es erstellt.

$gsutil cp lokaler Dateipfad gs://Eimername/Verzeichnisname/Dateiname

Erstellen eines Dienstkontos / Dienstkontoschlüssels

Erstellen Sie ein Dienstkonto / einen Dienstkontoschlüssel, damit Sie von Python aus auf GCS zugreifen können.

Erstellung eines Dienstkontos

gcloud iam service-Konten erstellen den Namen des Dienstkontos\
                                   --display-Name Anzeigename des Dienstkontos\

Überprüfen Sie jetzt die mit dem Projekt verknüpften Berechtigungen

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:[email protected]
#   role: roles/owner
# etag: BwWeTrntoao=
# version: 1

Erteilen Sie Berechtigungen für Dienstkonten

Gewähren Sie Speicheradministratorrechte

gcloud projects add-iam-policy-verbindliche Projekt-ID\
--member serviceAccount:Name des [email protected] \
--role roles/storage.admin

Rollenliste

https://cloud.google.com/iam/docs/understanding-roles?hl=ja#predefined_roles

Überprüfen Sie die Berechtigungen erneut

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:[email protected]
#   role: roles/owner
# - members:
#   - serviceAccount:[email protected]
#   role: roles/storage.admin
# etag: BwWeTz6vIBY=
# version: 1

Erstellung des Dienstkontoschlüssels

$ gcloud iam service-accounts keys create ./service_account_keys/anata_no_key.json \
--iam-Kontodienst [email protected]

Verzeichnisaufbau

.
├── .env
├── service_account_keys/
│      └── anata_no_key.json
└── working/
        └── main.py

.env

Verwenden Sie diese Beschreibung, um den Pfad des Dienstkontoschlüssels festzulegen, den Sie zuvor in der Umgebungsvariablen erstellt haben. ** * Relativer Pfad aus der Ladequelldatei (Datei load_dotenv ()) **

.env

GOOGLE_APPLICATION_CREDENTIALS=./service_account_keys/anata_no_key.json

Bibliotheksinstallation

Installieren Sie google-cloud-storage`` python-dotenv`` pandas mit pip

$ pip install google-cloud-storage python-dotenv pandas

Mit Python herunterladen

main.py

import os
from io import BytesIO

from dotenv import load_dotenv
from google.cloud import storage
import pandas as pd


# .Setzen Sie den Inhalt von env auf Umgebungsvariablen
load_dotenv('./.env')

PROJECT_NAME = 'anata_no_project'
BUCKET_NAME = 'anata_no_bucket'
FILE_NAME = 'path/to/dir/train.csv' # gs://Eimername/~Der folgende Pfad

client = storage.Client(PROJECT_NAME)
bucket = client.get_bucket(BUCKET_NAME)
blob = storage.Blob(FILE_NAME, bucket)
data = blob.download_as_string()
df = pd.read_csv(BytesIO(data))
print(df)

Es ist in Ordnung, wenn es als df angezeigt wird.