Ein Hinweis, der einen Job in Python implementiert, der eine GCS-Datei in BigQuery lädt
Beispielcode
#Wenn Sie das Dienstkonto nicht festlegen, wird ein Authentifizierungsfehler angezeigt.
# export GOOGLE_APPLICATION_CREDENTIALS=/path/to/credential
from google.cloud import bigquery
client = bigquery.Client('project')
table_ref = client.dataset('dataset').table('table$20200101') #Partition angeben
job_config = bigquery.LoadJobConfig()
job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE #Überschreiben
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON # JSON
# job_config.ignore_unknown_values = True #Kommentar entfernen, wenn unbekannter Wert zulässig ist
uri = 'gs://bucket/path/*.gz' #Geben Sie alles unter dem Verzeichnis an
load_job = client.load_table_from_uri(
uri, table_ref, job_config=job_config
)
load_job.result()
print("Job finished.")
Referenz