[PYTHON] Schaben mit Selen

Dynamisch geschriebene Stellen mit Selen abkratzen

Wenn es sich um eine in JS usw. geschriebene Site handelt, können Sie sie möglicherweise nicht mit Beautiful Soup abkratzen. In solchen Fällen kann Selen verwendet werden.

Holen Sie sich den Chrome-Treiber

Überprüfen Sie zuerst die Chromversion.

(Für Mac)

  1. Klicken Sie bei geöffnetem Chrom oben links auf dem Bildschirm auf "Chrom"
  2. Klicken Sie auf "Über Google Chrome".
  3. Eine Seite mit dem Namen "Einstellungen - Über Chrome" wird geöffnet und dort angezeigt. Version: 8? Überprüfen Sie den Teil, der sagt. ~ ~ ~ ~.

Holen Sie sich den Chrome-Treiber von der Download-Seite.

Auf der Download-Seite (https://chromedriver.chromium.org/downloads)

Laden Sie im folgenden Teil den Chrome-Treiber herunter, der der oben untersuchten Version entspricht. (Wählen Sie das Betriebssystem am Ziel der Seitenverknüpfung aus.) スクリーンショット 2020-09-22 17.43.04.png

Wie benutzt man

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

url="~~~~~~"#URL, die Sie hier öffnen möchten
options = Options()
options.add_argument('--headless') #Aktivieren Sie den Headless-Modus
Driver_path="~~~~~~" #Geben Sie den Speicherort an, an dem sich der heruntergeladene Chrome-Treiber befindet
driver = webdriver.Chrome(Driver_path,options=options)
driver.get(url)
time.sleep(2)
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')
#Danach können Sie es normal gemäß der Grammatik von Beautiful Soup verwenden.

Durch Hinzufügen einer Option wird verhindert, dass die Seite bei jeder Ausführung von driver.get geöffnet wird. (Dies beschleunigt den Vorgang etwas.)

Referenz

Drei Einstellungen, um Selen stabil zu machen (unterstützt auch den Headless-Modus)

Recommended Posts

Schaben mit Selen
Schaben mit Selen ~ 2 ~
Schaben mit Selen
Erfolgreiches Schaben mit Selen
Schaben mit Selen [Python]
Schaben mit Selen in Python
Schaben mit Selen + Python Teil 1
Scraping mit Selen in Python
Schaben mit Selen + Python Teil 2
I-Town-Seite mit Selen abkratzen
Scraping mit Python
Scraping mit Python
Scraping mit Selen in Python (Basic)
Scraping mit Python, Selen und Chromedriver
Beginnend mit Selen
Üben des Web-Scrapings mit Python und Selen
Scraping in Python (Vorbereitung)
Versuchen Sie es mit Python.
Scraping mit Python + PhantomJS
Schaben mit kratzender Schale
Screenshot mit Selen (Python Edition)
Scraping mit Python + PyQuery
Kratzen mit schöner Suppe
Scraping von RSS mit Python
Web Scraping mit Python + JupyterLab
Schaben mit Chromedriver in Python
Festliches Scraping mit Python, Scrapy
Speichern Sie Bilder mit Web Scraping
Python: Arbeiten mit Firefox mit Selen
Selen
Ich war süchtig danach, 2020 mit Selen (+ Python) zu kratzen
Einfaches Web-Scraping mit Scrapy
Scraping mit Tor in Python
Web Scraping mit Selenium (Python)
Kratzwettervorhersage mit Python
Erinnerungen an den Kampf mit Selen
Schaben Nikkei Durchschnitt mit Dramatiker-Python
Probieren Sie Selenium Grid mit Docker aus
[Python + Selen] Tipps zum Scraping
Ich habe versucht, mit Python zu kratzen
Web Scraping Anfänger mit Python
Schaben 1
Tischkratzen mit schöner Suppe
Versuchen Sie es mit Python + Beautiful Soup
Mehrere Seiten mit Beautiful Soup verschrotten
Scraping mit Node, Ruby und Python
Scraping von Alexas Web Rank mit pyQuery
Zusammenfassung der Kratzbeziehung (Selen, Pyautogui)
Web Scraping mit Python Erster Schritt
Ich habe versucht, WebScraping mit Python.
Kratzen mit Python und schöner Suppe
Kratzen mit schöner Suppe in 10 Minuten
Vertrauteres Testen mit Selen
Lassen Sie uns mit Python Image Scraping durchführen
Holen Sie sich Qiita-Trends mit Python-Scraping
"Scraping & maschinelles Lernen mit Python" Lernnotiz