[PYTHON] In 100 Tagen sind Sie Ingenieur. ――Tag 74 ――Programmieren ――Über das Schaben 5

Klicken Sie hier bis gestern

Diese Zeit ist auch eine Fortsetzung des Schabens.

Das Prinzip des Schabens ist bis zum letzten Mal vorbei. Heute ist die Geschichte von Selen.

Über Selen

Selenium ist eine Framework-Software zur Automatisierung des Betriebs von WEB-Browsern.

Bei Verwendung von "Selen" wird dies allein von der Python-Anforderungsbibliothek durchgeführt. Sie können Informationen erhalten, die nicht durch Scraping erhalten werden können.

Was sind also die Informationen, die nicht erhalten werden können?

In der normalen Anforderungsbibliothek sind die Informationen, die mit der Methode get usw. abgerufen werden können, die HTML-Quelle.

Wenn einige der Elemente so geschrieben sind, dass sie in Javascript gerendert werden Wenn Javascript nicht funktioniert, wird es nicht als Daten wiedergegeben.

Daher befinden sich die von Javascript dynamisch generierten Elemente in der Bibliothek "Anfragen". Es kann nicht erhalten werden.

Selenium führt einen WEB-Browser aus, um Daten abzurufen. Dies unterscheidet sich also nicht vom Zugriff mit einem normalen Browser. Javascript funktioniert auch und Sie können die gerenderten Daten erhalten.

Was Sie brauchen, um Selen zu betreiben

Die folgenden drei sind erforderlich, um "Selen" auf einem PC auszuführen.

** Webbrowser ** Chrome, Firefox, Opera usw.

WebDriver Software zur Bedienung des Browsers

Selenium Eine Bibliothek, die den Browser in Zusammenarbeit mit WebDriver programmgesteuert bedient

Installation verschiedener Werkzeuge

Die Installationsmethode ist wie folgt.

** Installation des WEB-Browsers ** Von der Download-Site verschiedener Browser herunterladen und installieren

Google Chrome

Firefox

Opera

** WebDriver herunterladen ** WebDriver muss nicht installiert werden. Laden Sie es einfach herunter und stellen Sie es bereit. Legen Sie es nach dem Herunterladen in einem Verzeichnis in der Nähe des Programms ab.

Der Treiber ändert sich, wenn die Browserversion aktualisiert wird. Laden Sie ihn daher jedes Mal entsprechend der Version herunter.

Google Chrome

Firefox

Opera

** Installation von Selen ** Die Installationsmethode in Python lautet wie folgt.

pip install selenium

Führen Sie Selen aus

Als Verfahren zum Bewegen von "Selen"

Browser-Installation
Laden Sie WebDriver herunter und stellen Sie es bereit
Installieren Sie Selen ist.

Lassen Sie uns hier "Google Chrome" von "Selen" aus betreiben.

from selenium import webdriver

#Treibereinstellungen
chromedriver = "Vollausweis des Fahrers"
driver = webdriver.Chrome(executable_path=chromedriver)

driver.get('Zugriffs-URL')

Dadurch wird der Browser gestartet.

Ich verwende "webdriver.Chrome", weil der zu startende Browser "Google Chrome" ist. Die entsprechende Methode ändert sich je nach Browser. Firefox:webdriver.Firefox Opera:webdriver.Opera

Ich schreibe den WebDriver-Pfad in "ausführbarer_Pfad" Es scheint es nicht zu erkennen, es sei denn, es ist ein vollständiger Pfad (absoluter Pfad). Lassen Sie uns den Webtreiber in eine flache Hierarchie einordnen.

Konnten Sie Ihren Browser bisher mit Selenium starten?

Nächstes Mal werde ich hier die Browser-Betriebsmethode starten.

Zusammenfassung

Mit Selen, mit normalen Schabetechniken Dies ist praktisch, da Sie leicht Informationen erhalten können, die nicht abgerufen werden können.

Wenn Sie Probleme beim Abrufen von Daten haben, versuchen Sie es mit Selen.

26 Tage, bis Sie Ingenieur werden

Informationen zum Autor

HP von Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython