Grundlegende Zusammenfassung des Scrapings mit Anfragen, die Anfänger absolut verstehen können [Python]

Fordert Grundlagen an

import

import requests

Sie werden diesen Import definitiv brauchen.

Holen Sie sich die Quelle von der Website

• Holen Sie sich mit der GET-Methode
• Holen Sie sich mit der POST-Methode

Sie sollten sich an diese beiden erinnern.

Holen Sie sich mit GET-Methode (request.get)

import requests

url = 'https://www.yahoo.co.jp/'
response = requests.get(url)
print(response) # →<Response [200]>

html = response.text
print(html) #→ HTML-Quellzeichenfolge

Der Rückgabewert von request.get (url) ist der HTTP-Statuscode. Bei Erfolg werden 200 zurückgegeben.

Sie können die gesuchte HTML-Quellzeichenfolge in response.text abrufen.

Mit POST-Methode abrufen (request.post)

Ohne die POST-Methode erhalten Sie möglicherweise nicht die gesuchte Quelle.

data =  {'username':'tarouyamada', 'password':'4r8q99fiad'}

response = requests.post(url, data=data)

Jetzt können Sie die Anfrage einschließlich des Anfragekörpers senden.

So fügen Sie einen Anforderungsheader hinzu

headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36', 
'accept': 'application/json'}

response = requests.get(url, headers=headers)

Sie können die Anfrage jetzt mit dem angehängten Anforderungsheader senden. Die Schreibmethode ist für get und post üblich.

Holen Sie sich ein Bild

Sie können Binärdaten mit .content abrufen. Bilder sind auch eine Art Binärdaten.

response = requests.get(url)

img_data = response.content

print(img_data)
#b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x00\x00\x01\x00\x01\x00\x00\xff\xdb\x00C\x00\x03\x02\x02\x03\x02\x02\x03\x03\x03\x03\x04\x03\x03\x04\x05\x08\x05\x05\x04\x04\x05\n\x07\x07\x06\x08\x0c\n\x0………

print(type(img_data))
# <class 'bytes'>

• Die Ausgabe ist vom Typ Bytes

Bild speichern

• Übrigens, wenn Sie die erfassten Bilddaten speichern möchten
• Hinzufügen / Schreiben von Binärdateien

with open('test.jpg', 'wb') as f:
    f.write(response.content)

Parameterspezifikation

params = {'q':'qiita', 'date':'2020-7-3'}

response = requests.get(url, params=params)

Antwortheader anzeigen

• Der Inhaltstyp kann verwendet werden, um zu beurteilen, ob es sich um Text, JSON oder Bild handelt.

response = requests.get(
    'https://www.pakutaso.com/shared/img/thumb/nekocyan458A3541_TP_V.jpg')

print(response.headers)

# {'Server': 'nginx', 'Date': 'Tue, 07 Jul 2020 22:39:37 GMT', 'Content-Type': 'image/jpeg', 'Content-Length': '239027', 'Last-Modified': 'Sun, 05 Jul 2020 01:51:48 GMT', 'Connection': 'keep-alive', 'ETag': '"5f013234-3a5b3"', 'Expires': 'Thu, 06 Aug 2020 22:39:37 GMT', 'Cache-Control': 'max-age=2592000', 'X-Powered-By': 'PleskLin', 'Strict-Transport-Security': 'max-age=31536000;  includeSubDomains; preload', 'Accept-Ranges': 'bytes'}

Wenn es eine Weiterleitung gibt

Erhalten Sie die Antwort des Umleitungsziels

Wenn Sie den Verlauf während der Umleitung verwenden möchten, verwenden Sie .history

Überprüfen Sie die Codierung

response = requests.get(
    'https://qiita.com/')

print(response.encoding)

# utf-8

Holen Sie sich JSON-Daten

--Kann als Wörterbuch mit response.json () erhalten werden

response = requests.get(url)

json_dict = response.json()