Une note qui implémente une tâche en Python qui charge un fichier GCS dans BigQuery

Exemple de code


#Si vous ne définissez pas le compte de service, vous obtiendrez une erreur d'authentification.
# export GOOGLE_APPLICATION_CREDENTIALS=/path/to/credential

from google.cloud import bigquery
client = bigquery.Client('project')

table_ref = client.dataset('dataset').table('table$20200101') #Spécifiez la partition
    
job_config = bigquery.LoadJobConfig()
job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE #Écraser
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON # JSON
# job_config.ignore_unknown_values = True #Annuler les commentaires si une valeur inconnue est autorisée
    
uri = 'gs://bucket/path/*.gz' #Spécifiez tout sous le répertoire
load_job = client.load_table_from_uri(
        uri, table_ref, job_config=job_config
        )     
load_job.result()
print("Job finished.")

référence

Charger les données CSV dans la table

Recommended Posts

Une note qui implémente une tâche en Python qui charge un fichier GCS dans BigQuery
[Note] Importation de fichiers dans le répertoire parent en Python
Une fonction qui mesure le temps de traitement d'une méthode en python
Un mémo organisé en renommant les noms de fichiers dans le dossier avec python
J'ai fait un programme pour vérifier la taille d'un fichier avec Python
Un mémo que j'ai écrit un tri rapide en Python
Récupérer l'appelant d'une fonction en Python
Copiez la liste en Python
Sortie sous la forme d'un tableau python
Obtenez la date de mise à jour du fichier de mémorandum Python.
Différentes façons de lire la dernière ligne d'un fichier csv en Python
[Python] Un programme qui compte le nombre de vallées
Python qui fusionne beaucoup d'excellence en un seul Excel
Un mémo que j'ai touché au magasin de données avec python
Un mémorandum sur la mise en œuvre des recommandations en Python
[Python] Un programme qui compare les positions des kangourous.
Un script python qui importe un fichier csv daté dans BigQuery en tant que table de partition de temps
[Python] Un programme qui trouve le nombre d'étapes le plus court dans un jeu qui traverse les nuages
[Python] Un bloc-notes qui traduit et télécharge le fichier ipynb de GitHub en japonais.
Une fonction qui divise l'itérable en N morceaux en Python
[Mémo] Le mystère des instructions d'affectation cumulative dans les fonctions Python
Changer la destination de sortie standard en un fichier en Python
Obtenez le nombre d'éléments spécifiques dans la liste python
Comment développer dans un environnement virtuel Python [Memo]
Un mémo que j'ai écrit une fonction de base en Python en utilisant la récurrence
Google recherche la chaîne sur la dernière ligne du fichier en Python
Un ensemble de fichiers de script qui font wordcloud avec Python3
Trouver les valeurs propres d'une vraie matrice symétrique en Python
Script Python qui compare le contenu de deux répertoires
[Python] Programmation pour trouver le nombre de a dans une chaîne de caractères qui se répète un nombre spécifié de fois.
[Python] Mémo des phrases fréquemment utilisées dans les scripts Python
Traitez le contenu du fichier dans l'ordre avec un script shell
Jouez des sons en Python en supposant que le clavier est un clavier de piano
Comment déterminer l'existence d'un élément sélénium en Python
Un mémo qui gère les guillemets doubles pleine largeur avec les expressions régulières Python
Enregistrez le fichier binaire en Python
Comment vérifier la taille de la mémoire d'une variable en Python
Lire la sortie standard d'un sous-processus ligne par ligne en Python
Créer un fichier binaire en Python
Comment vérifier la taille de la mémoire d'un dictionnaire en Python
L'histoire du "trou" dans le fichier
Lisez le fichier en Python avec un chemin relatif depuis le programme
L'idée d'alimenter le fichier de configuration avec un fichier python au lieu de yaml
Obtenez la formule dans le fichier Excel sous forme de chaîne en Python
[python] Une note que j'ai commencé à comprendre le comportement de matplotlib.pyplot
L'histoire de la création d'un module qui ignore le courrier avec python
L'histoire de la création d'un Bot qui affiche les membres actifs dans un canal spécifique de Slack avec Python
[Python] Un programme qui fait pivoter le contenu de la liste vers la gauche
Obtenez le nombre de lecteurs d'articles sur Mendeley en Python
Python VBA pour obtenir une capture de la page WEB entière avec Selenium
Quel est le fichier XX à la racine d'un projet Python populaire?
Si vous voulez un singleton en python, considérez le module comme un singleton
[Python] Un programme qui calcule le nombre de chaussettes jumelées
Vérifions la chaîne d'octets en mémoire du nombre flottant flottant en Python
Afficher le chemin complet (chemin absolu) d'un fichier dans un répertoire sous Linux Bash
Recevez une liste des résultats du traitement parallèle en Python avec starmap