Automatisierte Testmethode, die Beautiful Soup und Selen (Python) kombiniert

1. 1. Überblick

Manchmal habe ich ein Tag eingebettet, um bestimmte Daten im HTML-Code einer Webseite zu sammeln, und ich habe einen automatisierten Test verwendet, um zu testen, ob das eingebettete Tag korrekt war.

So suchen Sie HTML-Daten mit Beautiful Soup

Wenn es sich jedoch um eine statische Seite handelt, kann ich sie mit Beautifulsoup testen, jedoch keine HTML-Daten für einen Bildschirm mit hoher Sicherheit wie einen SSL-fähigen Bildschirm abrufen.

Wenn Sie die HTML-Daten mit Beautiful Suppe nicht abrufen können, haben wir uns für Selen entschieden, um zum Zielbildschirm zu gelangen und die HTML-Seite abzurufen.

2. Programm

Unten finden Sie ein Programm, das HTML-Daten mit Beautiful Suppe und Selen erfasst.

test.py


import time
from selenium import webdriver
from bs4 import BeautifulSoup
import re

#Vom Bildschirm, der auf den Bildschirm umgestellt werden kann, der von Beautiful Suppe nicht erfasst werden konnte
driver.get("test.html")
driver.find_element_by_css_selector("test").click()

#Wenn Sie zum Zielbildschirm wechseln können
source = driver.page_source
soup = BeautifulSoup(source,'html.parser')
elems = soup.find_all("script",text=re.compile("test"))

#Fahren Sie mit dem nächsten Bildschirm fort
driver.find_element_by_css_selector("test").click()
…

Sie können Beautiful Soup verwenden, um HTML-Daten zu analysieren.

source = driver.page_source
soup = BeautifulSoup(source,'html.parser')

Es ist kein Problem, wenn Sie Seleniums ** ".page_source" ** verwenden, um die HTML-Daten abzurufen.

3. 3. Zusammenfassung

Erstellen Sie das obige Programm für jeden erforderlichen Bildschirm und Sie sind fertig. Im Fall des oben genannten Programms wird Chrome beim Start gestartet. Daher ist es möglicherweise besser, es mit Headless zu starten. (Ich benutze Headless nicht so oft, weil Selen oft mit einem Fehler stoppt ...)

Referenz: Ich habe versucht, Headless Chrome von Selenium zu verwenden

Recommended Posts

Automatisierte Testmethode, die Beautiful Soup und Selen (Python) kombiniert
Meine schöne Suppe (Python)
Ich habe mit Python verschiedene Dinge ausprobiert: Schaben (Beautiful Soup + Selenium + PhantomJS) und morphologische Analyse
Fordern Sie Python3 und Selenium Webdriver heraus
Versuchen Sie es mit Python + Beautiful Soup
Scraping mit Python, Selen und Chromedriver
[Python] Ein Memorandum der schönen Suppe4
Selen und Python zum Öffnen von Google
[Python] Unterschied zwischen Funktion und Methode
Einstellungen bei Verwendung von Python 3-Anfragen und Beautiful Soup mit Crostini auf Chromebook
Sortieren Sie Anime-Gesichter, indem Sie Anime-Charakterseiten mit Beautiful Soup und Selenium abkratzen
[Python3] Verstehe die Grundlagen von Beautiful Soup
Python + Selen Zusammenfassung der häufig verwendeten Operationsmethoden
[Python] Unterschied zwischen Klassenmethode und statischer Methode
[Python] Eine Tabelle mit Beautiful Soup kratzen
Üben des Web-Scrapings mit Python und Selen
Schöne Suppe
Probieren Sie einen datengesteuerten Test mit Selenium Python Bindings und py.test aus
Sofortige Methodengrammatik für Python und Ruby (Lernen)
Ich habe versucht, Web-Scraping mit Python und Selen
Versuchen Sie, Google Chrome mit Python und Selenium auszuführen