[Treasure Data] [Python] Exécutez une requête sur Treasure Data à l'aide du client TD.

Contexte

Sur le flux de travail GUI Treasure,

+run_query:
  td_run>: sample_query

Vous pouvez exécuter la requête avec le nom de la requête sur Treasure Data. Cependant, il semble qu'il n'y ait pas de telle fonction du côté du client Python. (Pourrait arriver)

Conclusion

** Utilisez run_schedule **

import time
import tdclient

if __name__ == '__main__':
    query_name = 'sample_query'
    with tdclient.Client(apikey='hogehoge') as td:
        # get unix time
        unix_time = int(time.time())
        run_time = unix_time + 10

        # set schedule query
        # run now!
        res = td.run_schedule(name=query_name, time=run_time, num=1)
    return 0

Bonus-je veux attendre l'exécution / je veux des résultats

import time
import tdclient

def main():
    query_name = 'sample_query'
    with tdclient.Client(apikey='hogehoge') as td:
        unix_time = int(time.time())
        run_time = unix_time + 10

        # set schedule query
        # run now!
        res = td.run_schedule(name=query_name, time=run_time, num=1)
        schedule_job = res[0]

        # get job_id from ScheduleJob object
        job_id = schedule_job._job_id

        # get Job object by job_id
        job = td.job(job_id=job_id)

        # wait until job finished
        job.wait()

        # get results one by one
        for row in job.result():
            print(repr(row))
    return 0


if __name__ == '__main__':
    main()

Postscript

La raison pour laquelle je voulais répondre à la requête sur Treasure Data est ... Je voulais utiliser celui avec Connector sur l'interface graphique de Treasure Data. Bien sûr, je pourrais définir Export sur Python, mais je voulais le porter de côté.

référence

Client officiel Python GitHub - Treasure Data API library for Python

Recommended Posts

[Treasure Data] [Python] Exécutez une requête sur Treasure Data à l'aide du client TD.
Exécuter du code Python sur C ++ (en utilisant Boost.Python)
Exécuter périodiquement un script Python sur AWS Data Pipeline
Folium: Visualisez les données sur une carte avec Python
Nettoyage des données à l'aide de Python
Créer un bot de collecte de données en Python à l'aide de Selenium
Créez un environnement Python sur votre Mac en utilisant pyenv
Créer un environnement de développement Python à l'aide de pyenv sur MacOS
Comment exécuter une commande à l'aide d'un sous-processus en Python
Essayez d'utiliser Kubernetes Client -Python-
Construire un environnement Python sur un Mac, jusqu'au point d'utiliser Jupyter Lab
[Python] Chapitre 01-03 À propos de Python (Ecrire et exécuter un programme à l'aide de PyCharm)
Utilisez python sur Raspberry Pi 3 pour détecter la "température (en utilisant un convertisseur A / N)"!
[Python] Notes sur l'analyse des données
Créer un environnement d'analyse de données python sur Mac (El Capitan)
Diffusion sur LINE en utilisant python
Analyse de données à l'aide de pandas python
Jouez avec l'API de données YouTube v3 à l'aide du client Python de l'API Google
Contrôlez le moteur avec un pilote de moteur en utilisant python sur Raspberry Pi 3!
[Python] Affichez les données sur les nouvelles infections à coronavirus sur une moyenne mobile de 7 jours
Obtenez des données de VPS MySQL avec Python 3 et SQL Alchemy
Comment créer un environnement Python à l'aide de Virtualenv sur Ubuntu 18.04 LTS
[Python] Analysez les données de match de la ligue Splatoon 2 à l'aide d'un tableau de coefficients de corrélation
Comment mettre à jour une source de données de classeur packagée Tableau à l'aide de Python
Remarques sur l'utilisation de la saisie semi-automatique lors de l'exécution interactive de Python sous Windows
[Python] Lire un fichier csv avec une grande taille de données à l'aide d'un générateur
Utilisez ScraperWiki pour obtenir régulièrement des données de votre site Web
Construire un environnement Python sur Mac
Acquisition de données à l'aide de l'API googlemap de python
J'ai fait un Line-bot avec Python!
Frappez les données du trésor de Python Pandas
Créer une interface graphique python à l'aide de tkinter
Construire un environnement Python sur Ubuntu
Dessiner une courbe Silverstone en utilisant Python
Remarques sur l'utilisation de MeCab depuis Python
Créer un environnement Python sur Mac (2017/4)
Étude sur Tokyo Rent en utilisant Python (3-2)
Remarques sur l'installation de Python à l'aide de PyEnv
Créer un environnement python dans centos
Utilisation d'une console série sur Ubuntu 20.04
Notes sur l'utilisation de rstrip avec python.
Installer Python sur CentOS à l'aide de Pyenv
Étude sur Tokyo Rent en utilisant Python (3-3)
Créer un environnement python3 sur CentOS7
Installez Python sur CentOS en utilisant pyenv
Un client HTTP simple implémenté en Python
Détectez la "luminosité" en utilisant python sur Raspberry Pi 3!
Construire un environnement python sur MacOS (Catallina)
Créez un environnement python sur votre Mac
Installez la bibliothèque python sur Lambda à l'aide de [/ tmp]
Un mémo contenant Python2.7 et Python3 dans CentOS
Carte des informations de location sur une carte avec python
[Python] Divers traitements de données utilisant le tableau Numpy