Ein Hinweis, der einen Job in Python implementiert, der eine GCS-Datei in BigQuery lädt

Beispielcode


#Wenn Sie das Dienstkonto nicht festlegen, wird ein Authentifizierungsfehler angezeigt.
# export GOOGLE_APPLICATION_CREDENTIALS=/path/to/credential

from google.cloud import bigquery
client = bigquery.Client('project')

table_ref = client.dataset('dataset').table('table$20200101') #Partition angeben
    
job_config = bigquery.LoadJobConfig()
job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE #Überschreiben
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON # JSON
# job_config.ignore_unknown_values = True #Kommentar entfernen, wenn unbekannter Wert zulässig ist
    
uri = 'gs://bucket/path/*.gz' #Geben Sie alles unter dem Verzeichnis an
load_job = client.load_table_from_uri(
        uri, table_ref, job_config=job_config
        )     
load_job.result()
print("Job finished.")

Referenz

CSV-Daten in Tabelle laden

Recommended Posts

Ein Hinweis, der einen Job in Python implementiert, der eine GCS-Datei in BigQuery lädt
[Hinweis] Import von Dateien in das übergeordnete Verzeichnis in Python
Eine Funktion, die die Verarbeitungszeit einer Methode in Python misst
Ein Memo, das durch Umbenennen der Dateinamen im Ordner mit Python organisiert wird
Ich habe ein Programm erstellt, um die Größe einer Datei mit Python zu überprüfen
Ein Memo, das ich schnell in Python geschrieben habe
Holen Sie sich den Aufrufer einer Funktion in Python
Kopieren Sie die Liste in Python
Ausgabe in Form eines Python-Arrays
Rufen Sie das Aktualisierungsdatum der Python-Memorandum-Datei ab.
Verschiedene Möglichkeiten, die letzte Zeile einer CSV-Datei in Python zu lesen
[Python] Ein Programm, das die Anzahl der Täler zählt
Python, das viele Excel zu einem Excel zusammenführt
Ein Memo, dass ich den Datenspeicher mit Python berührt habe
Ein Memorandum über die Umsetzung von Empfehlungen in Python
[Python] Ein Programm, das die Positionen von Kängurus vergleicht.
Ein Python-Skript, das eine datierte CSV-Datei als Zeitpartitionstabelle in BigQuery importiert
[Python] Ein Programm, das die kürzeste Anzahl von Schritten in einem Spiel findet, das Wolken überquert
[Python] Ein Notizbuch, das die ipynb-Datei von GitHub ins Japanische übersetzt und herunterlädt.
Eine Funktion, die iterable in Python in N Teile unterteilt
[Memo] Das Geheimnis kumulativer Zuweisungsanweisungen in Python-Funktionen
Ändern Sie das Standardausgabeziel in eine Datei in Python
Holen Sie sich die Anzahl der spezifischen Elemente in der Python-Liste
So entwickeln Sie in einer virtuellen Python-Umgebung [Memo]
Ein Memo, dass ich eine Grundfunktion in Python mit Wiederholung geschrieben habe
Google sucht mit Python nach der Zeichenfolge in der letzten Zeile der Datei
Eine Reihe von Skriptdateien, die Wordcloud mit Python3 ausführen
Finden Sie die Eigenwerte einer reellen symmetrischen Matrix in Python
Python-Skript, das den Inhalt zweier Verzeichnisse vergleicht
[Python] Programmieren, um die Nummer von a in einer Zeichenfolge zu finden, die eine bestimmte Anzahl von Malen wiederholt.
[Python] Ein Memo häufig verwendeter Phrasen in Python-Skripten
Verarbeiten Sie den Inhalt der Datei der Reihe nach mit einem Shell-Skript
Spielen Sie Sounds in Python ab, vorausgesetzt, die Tastatur ist eine Klaviertastatur
So bestimmen Sie die Existenz eines Selenelements in Python
Ein Memo, das doppelte Anführungszeichen in voller Breite mit regulären Python-Ausdrücken verarbeitet
Speichern Sie die Binärdatei in Python
So überprüfen Sie die Speichergröße einer Variablen in Python
Lesen Sie die Standardausgabe eines Unterprozesses zeilenweise in Python
Erstellen Sie eine Binärdatei in Python
So überprüfen Sie die Speichergröße eines Wörterbuchs in Python
Die Geschichte des "Lochs" in der Akte
Lesen Sie die Datei in Python mit einem relativen Pfad aus dem Programm
Die Idee, die Konfigurationsdatei mit einer Python-Datei anstelle von yaml zu füttern
Rufen Sie die Formel in der Excel-Datei als Zeichenfolge in Python ab
[Python] Ein Hinweis, dass ich das Verhalten von matplotlib.pyplot zu verstehen begann
Die Geschichte, ein Modul zu erstellen, das E-Mails mit Python überspringt
Die Geschichte des Erstellens eines Bots, der aktive Mitglieder in einem bestimmten Slack-Kanal mit Python anzeigt
[Python] Ein Programm, das den Inhalt der Liste nach links dreht
Holen Sie sich die Anzahl der Leser von Artikeln über Mendeley in Python
Python VBA, um mit Selenium die gesamte WEB-Seite zu erfassen
Was ist die XX-Datei im Stammverzeichnis eines beliebten Python-Projekts?
Wenn Sie einen Singleton in Python möchten, stellen Sie sich das Modul als Singleton vor
[Python] Ein Programm, das die Anzahl der gepaarten Socken berechnet
Überprüfen Sie die speicherinterne Byte-Zeichenfolge der Gleitkommazahl in Python
Zeigen Sie den vollständigen Pfad (absoluten Pfad) einer Datei in einem Verzeichnis in Linux Bash an
Erhalten Sie eine Liste der Ergebnisse der Parallelverarbeitung in Python mit Starmap