Essayez le scraping HTML avec la bibliothèque Python

Beautiful Soup

Qu'est-ce que la belle soupe?

Une bibliothèque de scraping avec une API simple et facile à retenir.

Officiel

from urllib.parse import urljoin
from bs4 import BeautifulSoup

#Lire le fichier HTML
with open('fichier html') as f:
   soup = BeautifulSoup(f, 'html.parser')

#Obtenez la liste des éléments que vous souhaitez obtenir avec select
for a in soup.select(élément)
#Retirez l'élément que vous souhaitez obtenir

pyquery

Qu'est-ce que pyquery

pyquery est une bibliothèque qui peut être extraite du HTML de la même manière que jQuery. Il utilise lxml en interne et peut traiter à grande vitesse.

Officiel

from pyquery import PyQuery as pq

#Lire le fichier HTML et obtenir l'objet PyQuery
d = pq(filename='fichier html')

#Obtenez la liste des éléments que vous souhaitez obtenir
for a in d(élément):
#Retirez l'élément que vous souhaitez obtenir

Recommended Posts

Essayez le scraping HTML avec la bibliothèque Python
Grattage avec Python
Grattage avec Python
Essayez de dessiner une carte avec python + cartopy 0.18.0
[Pour les débutants] Essayez le web scraping avec Python
Grattage en Python (préparation)
Grattage avec Python + PhantomJS
Grattage avec du sélénium [Python]
Scraping avec Python + PyQuery
Scraping RSS avec Python
Essayez de dessiner une courbe de vie avec python
Essayez de créer un code de "décryptage" en Python
Essayez de créer un groupe de dièdre avec Python
J'ai essayé de gratter avec Python
Web scraping avec python + JupyterLab
Grattage au sélénium en Python
Grattage avec Selenium + Python Partie 1
Grattage avec chromedriver en python
Grattage festif avec Python, scrapy
Essayez de programmer avec un shell!
Essayez la sortie Python avec Haxe 3.2
Essayez d'incorporer Python dans un programme C ++ avec pybind11
Grattage avec du sélénium en Python
Grattage avec Tor en Python
Faites une loterie avec Python
WEB grattage avec python et essayez de créer un nuage de mots à partir des critiques
Scraping prévisions météorologiques avec python
Essayez d'exécuter Python avec Try Jupyter
Grattage avec Selenium + Python Partie 2
Essayez la reconnaissance faciale avec Python
J'ai essayé de gratter avec du python
Web scraping débutant avec python
Créer un répertoire avec python
Essayez d'exécuter python dans l'environnement Django créé avec pipenv
Essayez de gratter les données COVID-19 Tokyo avec Python
[AWS] Essayez d'ajouter la bibliothèque Python à la couche avec SAM + Lambda (Python)
Essayez d'ouvrir une sous-fenêtre avec PyQt5 et Python
Un exemple pour dessiner des points avec PIL (Python Imaging Library).
Essayez de créer un réseau de neurones en Python sans utiliser de bibliothèque
Essayez Juniper JUNOS PyEz (bibliothèque python) Memo 3 ~ Modifier les paramètres avec PyEz ~
Bibliothèque pour spécifier un serveur de noms en python et dig
Essayez Juniper JUNOS PyEz (bibliothèque python) Note 2 ~ Obtenez des informations avec PyEz ~
[Python] Qu'est-ce qu'une instruction with?
Utilisez pymol comme bibliothèque python
Résoudre ABC163 A ~ C avec Python
Manuel de graphisme Python avec Matplotlib.
Scraping avec Node, Ruby et Python
Scraping avec Selenium en Python (Basic)
Faisons une interface graphique avec python.
Grattage avec Python, Selenium et Chromedriver
Essayez d'exploiter Facebook avec Python
Essayez la décomposition de valeurs singulières avec Python
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
Grattage avec Python et belle soupe
Créez un environnement virtuel avec Python!
J'ai fait une loterie avec Python.
Créer un environnement virtuel avec Python 3
Résoudre ABC168 A ~ C avec Python
Créer un système de recommandation avec python