[Persönlicher Hinweis] Scraping von Webseiten in Python3
Vorsichtsmaßnahmen beim Schaben
Klicken Sie mit der rechten Maustaste auf den Seitenquellcode, um stattdessen die Seitenquelle anzuzeigen
Verwenden Sie die in den Entwicklertools angezeigte
Text extrahieren
<dt>Preis<span class="tax">(Steuern inklusive)</span></dt>
So extrahieren Sie den Text des "span" -Tags, der in das "dt" -Tag eingebettet ist
source = '<dt>Preis<span class="tax">(Steuern inklusive)</span></dt>'
soup = BeautifulSoup(source, "html.parser")
soup.text
Und .text kann durch Angabe extrahiert werden
Entfernung von Leerzeichen
<dt>
Preis
<span class="tax">(Steuern inklusive)</span>
</dt>
Wenn das Tag ein leeres Zeichen enthält, z
def remove_whitespace(str):
return ''.join(str.split())
source = '<dt>Preis<span class="tax">(Steuern inklusive)</span></dt>'
soup = BeautifulSoup(source, "html.parser")
remove_whitespace(soup.text)
Kann herausgenommen werden
Da das Leerzeichen in der Mitte nicht mit "strip ()" gelöscht werden kann, wird das Leerzeichen als Trennzeichen mit "split ()" verwendet.
Treten Sie mit .join bei
Finden Sie in der schönen Suppe
Wenn Sie eine bestimmte Klasse finden möchten
In einem Fall
soup.find(class_='hoge')
Bei der Suche alle
soup.find_all(class_='hoge')
Wenn Sie eine bestimmte ID finden möchten
In einem Fall
soup.find(id='hoge')
Bei der Suche alle
soup.find_all(id='hoge')
Wenn Sie ein bestimmtes Tag suchen möchten
In einem Fall
soup.find('hoge')
Bei der Suche alle
soup.find_all('hoge')
Sie können auch mehrere Bedingungen gleichzeitig haben
soup.find('hoge',class_='fuga)
Recommended Posts