WEB-Scraping mit Python (für persönliche Notizen)

Am zweiten Tag, nachdem ich selbst angefangen hatte, Python zu lernen, versuchte ich es mit einfachem WEB-Scraping. Ich habe es mit Bezug auf einige Websites gemacht. Poste es für persönliche Notizen. Diesmal ** · Titel ** ** ・ h2 ** Extrahieren Sie zwei Elemente.

Vorbereitung

-Installieren Sie das Anforderungsmodul

Befehl


pip install requests

-Installieren Sie das Modul Schöne Suppe

Befehl


pip install beautifulsoup4

Programm

Code


import requests
from bs4 import BeautifulSoup

#URL, die Sie erhalten möchten
url = "*********"

#Holen Sie sich HTML, indem Sie eine HTTP-Anfrage mit der URL als Argument senden
response = requests.get(url)

#Der Zeichencode wird automatisch codiert
response.encoding = response.apparent_encoding

#HTML-Analyse
bs = BeautifulSoup(response.text, 'html.parser')
#Titel extrahieren
title_tag = bs.find('title')
print(title_tag.text)
#H2-Element extrahieren
h2_tags = bs.select('h2')
for h2_tag in h2_tags:
    print(h2_tag.text)

Referenzseite

Immer neben der IT arbeiten

Recommended Posts

WEB-Scraping mit Python (für persönliche Notizen)
[Persönlicher Hinweis] Scraping von Webseiten in Python3
[Für Anfänger] Versuchen Sie Web Scraping mit Python
Web Scraping mit Python + JupyterLab
Web Scraping Anfänger mit Python
Datenanalyse zur Verbesserung von POG 1 ~ Web Scraping mit Python ~
Web Scraping mit Python Erster Schritt
Ich habe versucht, WebScraping mit Python.
Persönliche Notizen für die Python-Bildverarbeitung
Web Scraping für Anfänger in Python (1)
Web Scraping für Anfänger in Python (4) -1
Python-Scraping-Memo
Scraping mit Python
Scraping mit Python
Python persönliche Notizen
Erste Schritte mit Python Web Scraping Practice
Pferderennseite Web Scraping mit Python
Erste Schritte mit Python Web Scraping Practice
Üben des Web-Scrapings mit Python und Selen
Einfaches Web-Scraping mit Python und Ruby
Vorbereitung zum Schaben mit Python [Schokoladengeschmack]
Scraping in Python (Vorbereitung)
Versuchen Sie es mit Python.
fehlende Ganzzahlen Python persönliche Notizen
Scraping mit Python + PhantomJS
Schaben mit Selen [Python]
Scraping mit Python + PyQuery
Scraping von RSS mit Python
Führen Sie das WEB-Scraping regelmäßig mit AWS-Lambda + Python + Cron aus
Web Scraping mit Python (Wettervorhersage)
Web Scraping mit Python (Aktienkurs)
Ich habe versucht, mit Python zu kratzen
Web Scraping für Anfänger in Python (1) Verbesserte Version
Schaben mit Selen in Python
Schaben mit Selen + Python Teil 1
Schaben mit Chromedriver in Python
Festliches Scraping mit Python, Scrapy
Speichern Sie Bilder mit Web Scraping
Bearbeiten Sie Excel-Dateien aus Python mit xlrd (persönliches Memo)
Python Tkinter Memo (für mich)
Scraping mit Selen in Python
Schnelles Web-Scraping mit Python (unterstützt das Laden von JavaScript)
Einfaches Web-Scraping mit Scrapy
Scraping mit Tor in Python
Web-API mit Python + Falcon
Python-Anfänger bleiben beim ersten Web-Scraping stecken
Web Scraping mit Selenium (Python)
Kratzwettervorhersage mit Python
Schaben mit Selen + Python Teil 2
Webanwendung mit Python + Flask ② ③
[Python + Selen] Tipps zum Scraping
Ich habe versucht, mit Python zu kratzen
Analysieren Sie preisgünstige Informationen zu Amazon-Geschenkgutscheinen mit Web Scraping & R mit Python
Optimieren Sie die Websuche mit Python
Web-Scraping für Anfänger mit Python (4) --2 Scraping auf Cloud Shell
Webanwendung mit Python + Flask ④