Aperçu

J'étudie en référence à la «visualisation de données à partir de Python et JavaScript» d'O'Reilly Japan.

Récupération des données Web à l'aide de la bibliothèque de requêtes

Les "Requests" de Python sont une bibliothèque qui facilite la gestion des interactions HTTP en Python.

Préparation préalable

Demandes d'installation

pip install requests

Dans la version 2.7.9 ou antérieure, un avertissement SSL peut se produire. Dans ce cas, effectuez une mise à jour vers une nouvelle bibliothèque SSL pour résoudre le problème.

pip install --upgrade ndg-httpsclient

Exemple d'utilisation de la bibliothèque de requêtes

Télécharger la page Wikipédia (obtenir la page HTML et JavaScript en ligne)

>>> import requests
>>> response = requests.get("https://ja.wikipedia.org/wiki/Python");
>>> 
>>> #Obtenir une liste des attributs de l'objet responsep
>>> dir(response)
['__attrs__', '__bool__', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__enter__', '__eq__', '__exit__', '__format__', '__ge__', '__getattribute__', '__getstate__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__nonzero__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_content', '_content_consumed', '_next', 'apparent_encoding', 'close', 'connection', 'content', 'cookies', 'elapsed', 'encoding', 'headers', 'history', 'is_permanent_redirect', 'is_redirect', 'iter_content', 'iter_lines', 'json', 'links', 'next', 'ok', 'raise_for_status', 'raw', 'reason', 'request', 'status_code', 'text', 'url']
>>>
>>> #Obtenir le code d'état HTTP de l'objet de réponse
>>> response.status_code
200
>>>
>>> #Vous pouvez obtenir la page HTML et JavaScript en ligne en obtenant la propriété text de l'objet de réponse
>>> response.text
'<!DOCTYPE html>\n<html class="client-nojs" lang="ja" dir="ltr">\n<head>\n<meta charset="UTF-8"/>\n<title>Python - Wikipedia</title>\n<script>document.documentElement.className = document.documentElement.className.replace( /(^|\\s)client-nojs(\\s|$)/, "$1client-js$2" );</script>\n<script>(window.RLQ=window.RLQ||[]).push(function(){mw.config.set({"wgCanonicalNamespace":"","wgCanonicalSpecialPageName":false,"wgNamespaceNumber":0,"wgPageName":"Python","wgTitle":"Python","wgCurRevisionId":65321720,"wgRevisionId":65321720,"wgArticleId":993,"wgIsArticle":true,"wgIsRedirect":false,"wgAction":"view","wgUserName":null,"wgUserGroups":["*"],"wgCategories":["Langage de programmation","Langage orienté objet","Langage de script","Open source","Python"],"wgBreakFrames
...

Obtenez des données au format JSON

>>> import requests
>>> response = requests.get("https://www.oreilly.co.jp/books/9784873118086/biblio.json");
>>> 
>>> #Obtenez des données JSON
>>> data = response.json()
>>> data
{'title': 'Visualisation des données à partir de Python et JavaScript', 'picture_large': 'http://www.oreilly.co.jp/books/images/picture_large978-4-87311-808-6.jpeg', 'picture': 'http://www.oreilly.co.jp/books/images/picture978-4-87311-808-6.gif', 'picture_small': 'http://www.oreilly.co.jp/books/images/picture_small978-4-87311-808-6.gif', 'authors': ['Kyran Dale\par u3000', 'Takeshi Shimada\traduit par u3000', 'Tetsuya Kinoshita\Traduction u3000'], 'released': '2017-08-25', 'pages': 500, 'price': 4104, 'ebook_price': 3283, 'original': 'Data Visulalization with Python and JavaScript', 'original_url': 'http://shop.oreilly.com/product/0636920037057.do', 'isbn': '978-4-87311-808-6'}
>>> 
>>> #Obtenir la valeur clé
>>> data.keys()
dict_keys(['title', 'picture_large', 'picture', 'picture_small', 'authors', 'released', 'pages', 'price', 'ebook_price', 'original', 'original_url', 'isbn'])
>>> 
>>> #Obtenir le titre
>>> data["title"]
'Visualisation des données à partir de Python et JavaScript'

référence

Visualisation des données à partir de Python et JavaScript https://www.oreilly.co.jp/books/9784873118086/

Demandes: HTTP pour les humains http://requests-docs-ja.readthedocs.io/en/latest/user/quickstart/ 　　 La prochaine fois, nous étudierons comment utiliser les données de l'API Web.