So beenden Sie Pythons unendliches Scroll-Scraping

Beim Implementieren des Scrapings für eine Webseite mit unendlichem Scrollen in Python bin ich gestolpert, weil ich nicht wusste, wie ich es beenden soll.

Stichprobe

>>> t = 0
>>> start_at = time.time()
>>> t = time.time() - start_at
>>> t == 5
>>> break

Kommentar

start_at ist die Zeit, die seit seiner Ausführung vergangen ist. "t" ist der Unterschied Wenn t 5 erreicht (5 Sekunden sind vergangen), endet der Prozess.

Referenz https://note.nkmk.me/python-datetime-timedelta-measure-time/ https://ai-inter1.com/python-selenium/#st-toc-h-14

Recommended Posts

So beenden Sie Pythons unendliches Scroll-Scraping
Schaben 2 Wie man kratzt
Verwendung des Python-Protokollierungsmoduls
Verwendung des Python-Kontextmanagers
So crawlen Sie Seiten, die unendlich scrollen
Verwendung des externen Moduls von TouchDesigner Python
So lesen Sie ein Array mit Pythons ConfigParser
Scraping mit Python-Selen ist alt! ?? ・ ・ ・ Verwendung von Pyppeteer
Verwendung von xml.etree.ElementTree
Wie benutzt man Python-Shell
Hinweise zur Verwendung von tf.data
Verwendung von virtualenv
Wie benutzt man Seaboan?
Verwendung von Image-Match
Wie man Shogun benutzt
So installieren Sie Python
Verwendung von Pandas 2
So installieren Sie pip
Verwendung von Virtualenv
Verwendung von numpy.vectorize
So aktualisieren Sie easy_install
So installieren Sie archlinux
Wie man Gunicorn neu startet
So installieren Sie Python
Wie zum virtuellen Host
Wie man Selen debuggt
Wie man teilweise verwendet
Wie man Bio.Phylo benutzt
Wie man JSON liest
Verwendung von SymPy
Wie man x-means benutzt
Verwendung von WikiExtractor.py
So aktualisieren Sie Spyder
Verwendung von IPython
So installieren Sie BayesOpt
Verwendung von virtualenv
Wie benutzt man Matplotlib?
Verwendung von iptables
Wie benutzt man numpy?
Verwendung von TokyoTechFes2015
Wie benutzt man venv
Verwendung des Wörterbuchs {}
Wie benutzt man Pyenv?
Wie man Dotfiles züchtet
Verwendung der Liste []
Wie man Python-Kabusapi benutzt
"Wie man Fukashigi zählt"
So installieren Sie Nbextensions
Verwendung von OptParse
Verwendung von return
So installieren Sie Prover9
So bedienen Sie NumPy
Wie man Imutils benutzt
Unterstützung von x-nullable für swagger in der jsonschema-Bibliothek von Python
So drucken Sie Zeichen als Tabelle mit der Druckfunktion von Python