Résumé de base du scraping avec des requêtes que les débutants peuvent absolument comprendre [Python]

Bases des demandes

import

import requests

Vous aurez certainement besoin de cette importation.

Obtenez la source sur le site Web

--Obtenir avec la méthode GET --Obtenir avec la méthode POST

Vous devez vous souvenir de ces deux.

Get avec la méthode GET (requests.get)

import requests

url = 'https://www.yahoo.co.jp/'
response = requests.get(url)
print(response) # →<Response [200]>

html = response.text
print(html) #→ Chaîne source HTML

La valeur de retour de requests.get (url) est le code d'état HTTP. En cas de succès, 200 seront renvoyés.

Vous pouvez obtenir la chaîne source HTML que vous recherchez dans response.text.

Get avec la méthode POST (requests.post)

Vous ne pouvez pas obtenir la source que vous recherchez sans la méthode POST.

data =  {'username':'tarouyamada', 'password':'4r8q99fiad'}

response = requests.post(url, data=data)

Vous pouvez maintenant envoyer la demande avec le corps de la demande.

Comment ajouter un en-tête de demande

headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36', 
'accept': 'application/json'}

response = requests.get(url, headers=headers)

Vous pouvez maintenant envoyer la demande avec l'en-tête de la demande attaché. La méthode d'écriture est courante pour get et post.

Obtenez une image

Vous pouvez obtenir des données binaires en utilisant .content. Les images sont également un type de données binaires.

response = requests.get(url)

img_data = response.content

print(img_data)
#b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x00\x00\x01\x00\x01\x00\x00\xff\xdb\x00C\x00\x03\x02\x02\x03\x02\x02\x03\x03\x03\x03\x04\x03\x03\x04\x05\x08\x05\x05\x04\x04\x05\n\x07\x07\x06\x08\x0c\n\x0………

print(type(img_data))
# <class 'bytes'>

--La sortie est de type octets

Enregistrer l'image

• Au fait, lorsque vous souhaitez enregistrer les données d'image acquises
• Ajouter pour lire / écrire des fichiers binaires

with open('test.jpg', 'wb') as f:
    f.write(response.content)

Spécification des paramètres

params = {'q':'qiita', 'date':'2020-7-3'}

response = requests.get(url, params=params)

Afficher l'en-tête de la réponse

--Le type de contenu peut être utilisé pour juger s'il s'agit de texte, json ou image.

response = requests.get(
    'https://www.pakutaso.com/shared/img/thumb/nekocyan458A3541_TP_V.jpg')

print(response.headers)

# {'Server': 'nginx', 'Date': 'Tue, 07 Jul 2020 22:39:37 GMT', 'Content-Type': 'image/jpeg', 'Content-Length': '239027', 'Last-Modified': 'Sun, 05 Jul 2020 01:51:48 GMT', 'Connection': 'keep-alive', 'ETag': '"5f013234-3a5b3"', 'Expires': 'Thu, 06 Aug 2020 22:39:37 GMT', 'Cache-Control': 'max-age=2592000', 'X-Powered-By': 'PleskLin', 'Strict-Transport-Security': 'max-age=31536000;  includeSubDomains; preload', 'Accept-Ranges': 'bytes'}

S'il y a une redirection

Obtenez la réponse de la destination de la redirection

Si vous souhaitez utiliser l'historique lors de la redirection, utilisez .history

Vérifier l'encodage

response = requests.get(
    'https://qiita.com/')

print(response.encoding)

# utf-8

Obtenir des données JSON

--Peut être obtenu sous forme de dictionnaire avec response.json ()

response = requests.get(url)

json_dict = response.json()