https://doc-ja-scrapy.readthedocs.io/ja/latest/index.html
#Projekterstellung
$ scrapy startproject <project name>
#Aufbau
$ cat setting.py
DOWNLOAD_DELAY = 1
FEED_EXPORT_ENCODING = "utf-8"
#Spinne erstellen
$ scrapy genspider <mydomain> <mydomain.com>
#Schreiben Sie eine Analyseverarbeitung und führen Sie das Crawlen aus
$ scrappy crawl <spider name>
def parse(self, response):
for sel in response.css('#gmap_list > li > a'):
next_page = response.urljoin(sel.css('a::attr("href")').get())
yield scrapy.Request(next_page, callback=self.parse_detail)
def parse_detail(self, response):
'''
Detaillierte Seitenanalyse
'''
ORM Wenn Sie es verwenden, scheint Orator einfach und leicht zu bedienen zu sein. https://orator-orm.com/docs/0.9/basic_usage.html
Recommended Posts