[PYTHON] Verwenden Sie ScraperWiki, um regelmäßig Daten von Ihrer Website abzurufen

Wenn Sie den Dienst "ScraperWiki" verwenden, können Sie Web Scraping verwenden, ohne selbst einen Server mieten zu müssen. 82% A6% E3% 82% A7% E3% 83% 96% E3% 82% B9% E3% 82% AF% E3% 83% AC% E3% 82% A4% E3% 83% 94% E3% 83% B3% E3% 82% B0) kann regelmäßig durchgeführt werden.

Funktionen von ScraperWiki

Scraper-Skript kann im Browser bearbeitet und ausgeführt werden
Kann regelmäßig Skripte ausführen
Sie können die erfassten Daten mit csv exportieren oder über die JSON-API abrufen.
Die erfassten Daten können als Tabelle oder Grafik angezeigt werden.
Geben Sie bis zu 3 Datensätze frei

Bildschirmfoto

Skriptbearbeitungsbildschirm

Beispiel für ein Scraper-Skript

#!/usr/bin/env python
import scraperwiki
import lxml.html
import json

url = "http://target.website.hoge/index.html" #Zielstelle zum Abkratzen
html = scraperwiki.scrape(url)		#HTML-Dokumentenerfassung
root = lxml.html.fromstring(html)	#Holen Sie sich das Stammelementobjekt

data = []
id = 0
for el in root.cssselect("#hoge_contents > li > span"):  #Elemente mit CSS-Selektor extrahieren
    data.append({'id':id, 'text':el.text })	#Speichern Sie den Text des extrahierten Elements
    id = id + 1

print repr(data)	#Gespeicherte Daten an die Konsole ausgeben


# Saving data:
unique_keys = [ 'id' ] #Geben Sie einen eindeutigen Schlüssel an
scraperwiki.sql.save(unique_keys, data)	#In DB speichern

Beispiel tatsächlich verwendet http://shimz.me/blog/d3-js/3353