Produit un fichier CSV avec le nom de l'ensemble de données dans la colonne A et le nom de la table dans la colonne B. Le projet cible sera celui qui s'affiche lorsque vous tapez ce qui suit dans le terminal.
gcloud config list
code
import datetime
import pandas as pd
from google.cloud import bigquery
bigquery_data = pd.DataFrame(
index = [] ,
columns = ['dataset','table']
)
client = bigquery.Client()
datasets = list(client.list_datasets())
project = client.project
for dataset in datasets:
dataset_id = '{}.{}'.format(project , dataset.dataset_id)
dataset = client.get_dataset(dataset_id)
tables = list(client.list_tables(dataset))
for table in tables:
dataset_table = pd.Series({'dataset' : dataset.dataset_id ,'table' : table.table_id})
bigquery_data = bigquery_data.append(dataset_table , ignore_index = True)
make_day = datetime.datetime.today().strftime('%Y-%m-%d')
bigquery_data.to_csv('bigquery_data_{}.csv'.format(make_day) , index = False)
Recommended Posts