[Astuces] Gérez Athena avec Python

introduction

Cet article s'adresse à tous ceux qui souhaitent interroger Athena et analyser les résultats avec des pandas. Je pense que c'est particulièrement utile lors de l'analyse avec un notebook Jupyter.

Installation

Installez PyAthena.

pip install PyAthena

Comment utiliser

Utilisez la fonction de connexion. Spécifiez la clé AWS et le chemin de S3 qui crache le résultat de l'interrogation avec Athena. Si vous l'exécutez à l'aide de la fonction pd.read_sql, vous pouvez obtenir le résultat de l'exécution sous la forme de pandas.

from pyathena import connect
import pandas as pd
aws_access_key_id = 'Your aws access key id'
aws_secret_access_key = 'Your aws secret access key'

conn = connect(aws_access_key_id=aws_access_key_id,
                 aws_secret_access_key=aws_secret_access_key,
                 s3_staging_dir='Your s3 path',
                 region_name='ap-northeast-1')

df = pd.read_sql("SELECT * FROM sample", conn)

Recommended Posts

[Astuces] Gérez Athena avec Python
Gérez Excel avec python
Manipuler rabbimq avec python
Astuces Python
Astuces Python
Gérez les clés Base91 avec python + redis.
Gérez facilement les listes avec python + sqlite3
Gérer les fichiers Excel CSV avec Python
Conseils Python Conda
Statistiques avec python
Python avec Go
Conseils de débogage Python
Conseils pour gérer les binaires en Python
Twilio avec Python
Astuces de clic Python
Intégrer avec Python
Jouez avec 2016-Python
De manière inattendue (?) Connaissance du bean Python
AES256 avec python
Testé avec Python
python commence par ()
Conseils pour utiliser python + caffe avec TSUBAME
Essayer de gérer SQLite3 avec Python [Note]
avec syntaxe (Python)
Bingo avec python
Zundokokiyoshi avec python
Excel avec Python
Micro-ordinateur avec Python
Cast avec python
Gérer les fichiers zip avec des noms de fichiers japonais dans Python 3
[Rust / Python] Gérer numpy avec PyO3 (version d'août 2020)
[Python] Comment gérer les caractères japonais avec openCV
~ Conseils pour les débutants de Python donnés avec amour par Pythonista ② ~
Zip, décompressez avec python
Django 1.11 a démarré avec Python3.6
Jugement des nombres premiers avec Python
Python avec eclipse + PyDev.
Grattage en Python (préparation)
Essayez de gratter avec Python.
Astuces Python et Numpy
Apprendre Python avec ChemTHEATER 03
Recherche séquentielle avec Python
"Orienté objet" appris avec python
Exécutez Python avec VBA
Manipuler yaml avec python
Communication série avec python
Apprendre Python avec ChemTHEATER 05-1
Apprenez Python avec ChemTHEATER
Exécutez prepDE.py avec python3
1.1 Premiers pas avec Python
Collecter des tweets avec Python
Binarisation avec OpenCV / Python
3. 3. Programmation IA avec Python
Méthode Kernel avec Python
Non bloquant avec Python + uWSGI
Grattage avec Python + PhantomJS
Publier des tweets avec python
Conduisez WebDriver avec python
Utiliser mecab avec Python 3