Script Python qui lit les fichiers SQL, exécute BigQuery et enregistre le csv

Fonctionne avec python 3.6.1.

bq_runnner.py


import argparse
import pandas as pd


def run_query(sql_file):
    with open(sql_file, 'r') as f:
        query = f.read()
    
    project_id = 'YOUR_PROJECT_ID'
    df = pd.read_gbq(query, project_id=project_id, dialect='standard')
    return df


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('sql_file')
    parser.add_argument('--output_csv', default='output.csv')

    args = parser.parse_args()

    df = run_query(args.sql_file)
    df.to_csv(args.output_csv, index=False)

Comment utiliser

$ python bq_runnner.py YOUR_QUERY.sql

Vous pouvez nommer le fichier csv comme vous le souhaitez.

Bibliothèque requise

requirements.txt


pandas==0.25.3
pandas-gbq==0.13.0

Recommended Posts

Script Python qui lit les fichiers SQL, exécute BigQuery et enregistre le csv
Un script python qui importe un fichier csv daté dans BigQuery en tant que table de partition de temps
Celui qui divise le fichier csv, le lit et le traite en parallèle
Un script qui récupère les tweets avec Python, les enregistre dans un fichier externe et effectue une analyse morphologique.
Script Python qui crée un fichier JSON à partir d'un fichier CSV
Une note qui implémente une tâche en Python qui charge un fichier GCS dans BigQuery
[Python] Un bloc-notes qui traduit et télécharge le fichier ipynb de GitHub en japonais.
[Python] Lisez le fichier csv et affichez la figure avec matplotlib
Création d'un script Python prenant en charge l'API e-Stat (ver.2)
Un script shell qui envoie simplement le résultat de l'exécution SQL
Un script python qui convertit les données Oracle Database en csv
Script Python qui compare le contenu de deux répertoires
Un script qui ouvre les URL écrites en CSV dans l'ordre et prend une capture d'écran en plein écran
Programme Python qui recueille quotidiennement des tweets contenant des mots-clés spécifiques et les enregistre en csv
Lecture et écriture de fichiers CSV Python
Créez un script shell pour exécuter le fichier python plusieurs fois
Un script qui renvoie 0, 1 attaché au premier Python prime
Un script python qui supprime les fichiers ._DS_Store et ._ * créés sur Mac
Lire et formater des fichiers csv mélangés avec des tabulations de virgule avec des pandas Python
Extraire les lignes qui correspondent aux conditions d'un fichier texte avec python
Exécuter l'interpréteur Python dans le script
Script Python qui génère tous les enregistrements de la table Oracle dans un fichier CSV
[Python] Un programme qui arrondit le score
J'ai créé un programme en Python qui lit les données FX CSV et crée un grand nombre d'images de graphiques
Différentes façons de lire la dernière ligne d'un fichier csv en Python
Créer en Python sans fichier image factice dans Django et tester le téléchargement de l'image
[Python, PyPDF2] Un script qui divise un PDF étalé en deux à gauche et à droite
Python --Lisez les données d'un fichier de données numériques et recherchez la ligne de régression multiple.
[Python] Un programme qui trouve les valeurs minimales et maximales sans utiliser de méthodes
[Python] Un programme qui calcule le nombre de mises à jour des enregistrements les plus élevés et les plus faibles
Dessinez une ligne de pliage / diagramme de dispersion avec python matplotlib pour fichier CSV (2 colonnes)
Comment lire un fichier CSV avec Python 2/3
Un joli nimporter qui connecte nim et python
ffmpeg-Construisez un environnement python et divisez la vidéo
J'ai essayé de lire un fichier CSV en utilisant Python
"Kit Python" qui appelle des scripts Python depuis Swift
Prise en compte des forces et faiblesses de Python
Fichier python de script
Script Python qui explore le flux RSS du statut Azure et le publie sur Hipchat
Un script python qui obtient le nombre de travaux pour une condition spécifiée sur Indeed.com
Un script qui combine vos modules et binaires Python préférés en une seule couche Lambda
Programme qui résume les données csv de l’historique des transactions de l’action SBI Securities [Python3]
[Python] Un programme qui compte le nombre de vallées
Modèle de script python pour lire le contenu du fichier
Essayez de créer un fichier compressé en utilisant Python et zlib
J'ai essayé de toucher un fichier CSV avec Python
Lisez le fichier csv et affichez-le dans le navigateur
Un mémorandum pour exécuter un script python dans un fichier bat
Que contient cette variable (lorsque le script Python est en cours d'exécution)
Programme Python qui recherche le même nom de fichier
Exemples PHP et Python qui ont atteint l'API ChatWork
Un mémo que j'ai touché au magasin de données avec python
Afficher le résultat de sortie de sklearn.metrics.classification_report sous forme de fichier CSV
[Python] Un programme qui compare les positions des kangourous.
[Python] Démarrez un fichier de commandes à partir de Python et passez des variables.
[C / C ++] Passez la valeur calculée en C / C ++ à une fonction python pour exécuter le processus et utilisez cette valeur en C / C ++.
Un script qui détecte les mises à jour de fichiers, compile automatiquement Coffee et Sass et recharge le navigateur
J'ai écrit un script Python qui exporte tous mes articles à l'aide de l'API Qiita v2