[Note personnelle] Scraping de pages Web en python3
Précautions lors du grattage
Cliquez avec le bouton droit sur le code source de la page pour afficher la source de la page à la place
Utilisez celui affiché dans les outils de développement
Extraire le texte
<dt>prix<span class="tax">(taxe inclu)</span></dt>
Pour extraire le texte de la balise span incorporée dans la balise dt comme
source = '<dt>prix<span class="tax">(taxe inclu)</span></dt>'
soup = BeautifulSoup(source, "html.parser")
soup.text
Et .text peut être extrait en spécifiant
Suppression des espaces blancs
<dt>
prix
<span class="tax">(taxe inclu)</span>
</dt>
Lorsqu'il y a un caractère vide dans la balise tel que
def remove_whitespace(str):
return ''.join(str.split())
source = '<dt>prix<span class="tax">(taxe inclu)</span></dt>'
soup = BeautifulSoup(source, "html.parser")
remove_whitespace(soup.text)
Peut être retiré
Puisque l'espace au centre ne peut pas être supprimé avec strip (), le caractère espace est utilisé comme délimiteur avec split ().
Rejoindre avec .join
Trouver dans Beautiful Soup
Si vous voulez trouver une classe particulière
Dans un cas
soup.find(class_='hoge')
Lors de la recherche de tous
soup.find_all(class_='hoge')
Si vous souhaitez trouver un identifiant spécifique
Dans un cas
soup.find(id='hoge')
Lors de la recherche de tous
soup.find_all(id='hoge')
Si vous voulez trouver une balise spécifique
Dans un cas
soup.find('hoge')
Lors de la recherche de tous
soup.find_all('hoge')
Ils peuvent également avoir plusieurs conditions en même temps
soup.find('hoge',class_='fuga)
Recommended Posts