Grattage WEB avec Python (pour mémo personnel)

Le deuxième jour après avoir commencé à apprendre Python par moi-même, j'ai essayé le simple grattage WEB. Je l'ai fait en référence à certains sites. Postez-le pour des notes personnelles. Cette fois ** · Titre ** ** ・ h2 ** Extrayez deux éléments.

Préparation

-Installer le module de requêtes

commander


pip install requests

-Installez le module Beautiful Soup

commander


pip install beautifulsoup4

programme

code


import requests
from bs4 import BeautifulSoup

#URL que vous souhaitez obtenir
url = "*********"

#Obtenez du HTML en envoyant une requête HTTP avec une URL comme argument
response = requests.get(url)

#Le code de caractère est automatiquement codé
response.encoding = response.apparent_encoding

#Analyse HTML
bs = BeautifulSoup(response.text, 'html.parser')
#Extrait du titre
title_tag = bs.find('title')
print(title_tag.text)
#Extraire l'élément h2
h2_tags = bs.select('h2')
for h2_tag in h2_tags:
    print(h2_tag.text)

Site de référence

Travaillez toujours à côté de l'informatique

Recommended Posts

Grattage WEB avec Python (pour mémo personnel)
[Note personnelle] Scraping de pages Web en python3
[Pour les débutants] Essayez le web scraping avec Python
Web scraping avec python + JupyterLab
Web scraping débutant avec python
Analyse de données pour améliorer POG 1 ~ Web scraping avec Python ~
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
Notes personnelles pour le traitement d'images python
Web scraping pour les débutants en Python (1)
Web scraping pour les débutants en Python (4) -1
Mémo de raclage Python
Grattage avec Python
Grattage avec Python
notes personnelles python
Premiers pas avec Python Web Scraping Practice
Site de courses de chevaux Web scraping avec Python
Premiers pas avec Python Web Scraping Practice
Pratiquer le web scraping avec Python et Selenium
Scraping Web facile avec Python et Ruby
Préparation au grattage au python [Saveur chocolat]
Grattage en Python (préparation)
Essayez de gratter avec Python.
notes personnelles en python manquantes
Grattage avec Python + PhantomJS
Grattage avec du sélénium [Python]
Scraping avec Python + PyQuery
Scraping RSS avec Python
Exécutez régulièrement le scraping WEB avec AWS-Lambda + Python + Cron
Web scraping avec Python (prévisions météo)
Web scraping avec Python (cours de l'action)
J'ai essayé de gratter avec Python
Web scraping pour les débutants en Python (1) Version améliorée
Grattage au sélénium en Python
Grattage avec Selenium + Python Partie 1
Grattage avec chromedriver en python
Grattage festif avec Python, scrapy
Enregistrez des images avec le web scraping
Manipuler des fichiers Excel à partir de python avec xlrd (mémo personnel)
Mémo Python Tkinter (pour moi)
Grattage avec du sélénium en Python
Scrapage Web rapide avec Python (tout en prenant en charge le chargement JavaScript)
Grattage Web facile avec Scrapy
Grattage avec Tor en Python
API Web avec Python + Falcon
Les débutants en Python sont bloqués dans leur premier scraping Web
Web scraping avec Selenium (Python)
Scraping prévisions météorologiques avec python
Grattage avec Selenium + Python Partie 2
Application Web avec Python + Flask ② ③
[Python + Selenium] Conseils pour le grattage
J'ai essayé de gratter avec du python
Analysez les informations de prix bas du chèque-cadeau Amazon avec Web scraping & R avec Python
Rationalisez la recherche Web avec Python
Scraping Web pour débutants avec Python (4) --2 Scraping sur Cloud Shell
Application Web avec Python + Flask ④