Es ist eine Methode, um eine Funktion zu schreiben, die am Anfang und Ende der Spinne hakt.
Platzieren Sie den folgenden Inhalt direkt unter dem Projekt.
import scrapy
class SpiderHook(object):
@classmethod
def from_crawler(cls, crawler):
ext = cls
crawler.signals.connect(ext.spider_opened, signal=scrapy.signals.spider_opened)
crawler.signals.connect(ext.spider_closed, signal=scrapy.signals.spider_closed)
return ext
def spider_opened(self, spider):
#Verarbeitung zu Beginn der Spinne
def spider_closed(self, spider):
#Verarbeitung am Ende der Spinne
Schreiben Sie dann die Einstellungen zum Laden dieser Klasse in settings.py.
EXTENSIONS = {
'<project name>.<file name>. SpiderHook': 100,
}
Referenz: https://doc.scrapy.org/en/latest/topics/extensions.html
Recommended Posts