Wenn ich die Seite in einem Browser betrachte, ist sie auf Japanisch, aber wenn ich sie über Scrapy herunterlade, wird möglicherweise die englische Seite heruntergeladen. Dies liegt daran, dass Accept-Lauguage standardmäßig "en" ist, wenn Scrapy eine Anfrage an den Webserver sendet. Sie können also eine japanische Seite anfordern, indem Sie den folgenden Inhalt in settings.py schreiben.
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'ja,en-US;q=0.8,en;q=0.6',
}
Referenz: https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DEFAULT_REQUEST_HEADERS