Grattage avec du sélénium [Python]

Le grattage est effectué en utilisant Selenium en Python.

0. Environnement

MacOSX10.11.1

Pour CentOS

Xvfb et plus nécessaire Référence: Création de l'environnement CentOS6.4 + Selenium

1. Installer Selenium avec pip


$ sudo pip install selenium

Pour CentOS

Il est nécessaire d'installer la bibliothèque séparément.


$ sudo pip install pyvirtualdisplay

http://stackoverflow.com/questions/26070834/how-to-fix-selenium-webdriverexception-the-browser-appears-to-have-exited-befor

2. Exécutez

2.1. Importer du sélénium

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#Lors de l'utilisation de pyvirtualdisplay
from pyvirtualdisplay import Display
display = Display(visible=0, size=(1024, 768))
display.start()

2.2. Ouvrez le navigateur (FireFox)


driver = webdriver.Firefox()

Plus tard, lors de l'exécution du script sous Linux (CentOS) FireFox est plus pratique (plus facile), j'utilise donc FireFox.

2.3. Ouvrir l'URL

url = "http://google.com"
driver.get(url)

2.4. Fermez le navigateur

driver.close()

#Lors de l'utilisation de pyvirtualdisplay
display.stop()

Recommended Posts

Grattage avec du sélénium [Python]
Grattage au sélénium en Python
Grattage avec Selenium + Python Partie 1
Grattage avec du sélénium en Python
Grattage avec Selenium + Python Partie 2
Grattage au sélénium
Grattage au sélénium ~ 2 ~
Grattage avec Python
Grattage avec Python
Grattage avec du sélénium
Scraping avec Selenium en Python (Basic)
Grattage avec Python, Selenium et Chromedriver
Grattage en Python (préparation)
Grattage avec Python + PhantomJS
ScreenShot avec Selenium (édition Python)
Scraping avec Python + PyQuery
Scraping RSS avec Python
Pratiquer le web scraping avec Python et Selenium
J'ai essayé de gratter avec Python
Web scraping avec python + JupyterLab
Grattage avec chromedriver en python
Grattage festif avec Python, scrapy
Python: travailler avec Firefox avec du sélénium
Grattage avec Tor en Python
[Scraping] Scraping Python
Scraping prévisions météorologiques avec python
[Python + Selenium] Conseils pour le grattage
J'ai essayé de gratter avec du python
Web scraping débutant avec python
Gratter la page i-town avec du sélénium
J'étais accro au grattage avec Selenium (+ Python) en 2020
Scraping avec Node, Ruby et Python
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
Grattage avec Python et belle soupe
Faisons du scraping d'images avec Python
Obtenez les tendances Qiita avec le scraping Python
Mémo d'apprentissage "Scraping & Machine Learning avec Python"
Obtenez des informations météorologiques avec Python et le grattage
Mémo de raclage Python
[Python / Selenium] XPath
FizzBuzz en Python3
Scraping Python get_ranker_categories
Statistiques avec python
Python avec Go
Twilio avec Python
Intégrer avec Python
Jouez avec 2016-Python
AES256 avec python
Testé avec Python
Commençant par Selenium
python commence par ()
avec syntaxe (Python)
Python: grattage partie 1
Zundokokiyoshi avec python
Scraping à l'aide de Python
Excel avec Python
Micro-ordinateur avec Python
Python: grattage, partie 2