[Python, Ruby] Selen-Holen Sie sich Webseiteninhalte mit Webdriver

Am Anfang

Ich habe es in Ruby und Python geschrieben, aber da ich mich in der zweiten Hälfte entschlossen habe, es in Python zu schreiben, wurde Ruby nur ein einfacher Teil ... Bitte beachten Sie, dass der Ruby-Teil ein zusätzlicher Hinweis ist.

python

Installation

selenium

pip install selenium

chromewebdriver Weil es ein Mac war

brew install chromedriver

Linux ist unten? (Ich weiß es nicht, weil ich es nicht ausprobiert habe ...)

sudo apt-get install chromium-browser

Referenzierte Seite http://stackoverflow.com/questions/8255929/running-webdriver-chrome-with-selenium

Einfacher Code

Ein einfaches Beispiel für den Zugriff auf die Google-Startseite, das Warten von 10 Sekunden und das Schließen

`sample.py`


from selenium import webdriver
from time import sleep
browser = webdriver.Chrome()
browser.get('http://google.com')
sleep(10)
browser.close()

Login-Beziehung

`login.py`


#Suchen Sie den Teil, in dem die ID eine E-Mail ist
mail = browser.find_element_by_id('email')
#Suchen Sie den Teil, an dem die ID übergeben wird
pass_wd = browser.find_element_by_id('pass')
#Email eingeben
mail.send_keys('[email protected]')
#Pass eingeben
pass_wd.send_keys('password')
#Senden
pass_wd.submit()

Stellen Sie Zulassen / Benachrichtigungsblock für Chrom ein

Im Fall von Ruby ist es in Ordnung, es so zu lassen, wie es ist, aber im Fall von Python macht es dieses PopUp unmöglich, das Programm auszuführen, also setzen Sie chrome_options im Voraus.

`Vorher ändern`


browser = webdriver.Chrome()

`Nach der veränderung`


chrome_options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications" : 2}
chrome_options.add_experimental_option("prefs",prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)

scrollen

Scrollen Sie zum Anfang der Seite

browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")

Holen Sie sich den Link

Alle Links des gerade angegebenen Elements

links = myelement.find_elements_by_xpath(".//a")

Alle Links auf der Seite jetzt

links = myelement.find_elements_by_xpath("//a")

Wenn Sie einen Link mit einer der oben genannten Informationen erhalten, verwenden Sie "get_attribute (" href ")", um die URL abzurufen

urls = [ link.get_attribute('href') for link in links]

Referenzierte Seite

http://www.takunoko.com/blog/pythonselenium%E3%81%A7twitter%E3%81%AB%E3%83%AD%E3%82%B0%E3%82%A4%E3%83%B3%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/ Einfache Anmeldung

http://selenium-python.readthedocs.io/faq.html --Scrollen --nimm einen Link

ruby

Installation

selenium-webdriver gem

gem install selenium-webdriver

chrome driver

Nach dem Herunterladen und Entpacken des Chromedrivers Überprüfen Sie die Position des Rubins mit "Welcher Rubin" und bewegen Sie sich dorthin

Wenn Sie rbenv verwenden, können Sie den folgenden Befehl verwenden mv chromedriver ~/.rbenv/shims

Einfacher Code

require "selenium-webdriver"

driver = Selenium::WebDriver.for :chrome
driver.navigate.to "http://google.com"

driver.quit

Login-Beziehung

## type email
element = driver.find_element(:id, 'email')
element.send_keys '[email protected]'
# type password
element = driver.find_element(:id, 'pass')
element.send_keys 'password'
# submit the form
element.submit

Jetzt können Sie den Bildschirm nach dem Anmelden erhalten.