Dies ist ein Auszug aus dem Spider-Teil, der das Herz des Krabbelns bildet. Ich habe Beutiful Soup zum Parsen verwendet.

tabelogcrawl/spiders/tlspider.py

# -*- coding: utf-8 -*-

from urllib.parse import urlparse, parse_qs
from datetime import datetime
import pytz
import scrapy
from scrapy.contrib.spiders import CrawlSpider
from bs4 import BeautifulSoup
from tabelogcrawl.items import TabelogcrawlItem

#Wie viele Artikel pro Seite?(Bei Überprüfung des Vorgangs auf 1 setzen)
LIMIT_GET_PER_PAGE = 20

class TLSpider(CrawlSpider):

    name = "tlspider"
    allowed_domains = ["tabelog.com"]
    start_urls = (
        'https://tabelog.com/tokyo/A1319/rstLst/ramen/1/?Srt=D&SrtT=rt&sort_mode=1',
    )

    def parse(self, response):
        #Extrahieren Sie Geschäftsinformationen und Geschäftsergebnisse aus der Liste.
        soup = BeautifulSoup(response.body, "html.parser")
        summary_list = soup.find_all("a", class_="cpy-rst-name")
        score_list = soup.find_all(
            "span", class_="list-rst__rating-val", limit=LIMIT_GET_PER_PAGE)

        for summary, score in zip(summary_list, score_list):
            #Speichern Sie die erforderlichen Informationen für jedes Geschäft in TabelogcrawlItem.
            jstnow = pytz.timezone(
                'Asia/Tokyo').localize(datetime.now()).strftime('%Y/%m/%d')
            item = TabelogcrawlItem()
            item['date'] = jstnow
            item['name'] = summary.string
            item['score'] = score.string
            href = summary["href"]
            item['link'] = href

            #Um den Breiten- und Längengrad des Geschäfts zu ermitteln
            #Die Detailseite wird auch gecrawlt und in TabelogcrawlItem gespeichert.
            request = scrapy.Request(
                href, callback=self.parse_child)
            request.meta["item"] = item
            yield request

        #Nächste Seite.
        soup = BeautifulSoup(response.body, "html.parser")
        next_page = soup.find(
            'a', class_="page-move__target--next")
        if next_page:
            href = next_page.get('href')
            yield scrapy.Request(href, callback=self.parse)

    def parse_child(self, response):
        #Extrahieren Sie den Breiten- und Längengrad des Geschäfts.
        soup = BeautifulSoup(response.body, "html.parser")
        g = soup.find("img", class_="js-map-lazyload")
        longitude, latitude = parse_qs(
            urlparse(g["data-original"]).query)["center"][0].split(",")
        item = response.meta["item"]
        item['longitude'] = longitude
        item['latitude'] = latitude
        return item

Für Django ist der Ansichtsteil ein Auszug. Der Teil, in dem die Farbe anhand der Punktzahl festgelegt wird, ist angemessen, daher möchte ich sie durch Normalisierung usw. etwas besser einfärben.

tabelogmap/gmapi/views.py

# -*- coding: utf-8 -*-

import codecs
import ast

from django import forms
from django.shortcuts import render_to_response
from gmapi import maps
from gmapi.forms.widgets import GoogleMap

SAVE_FILE = "../tabelog_data.txt"


class MapForm(forms.Form):
    map = forms.Field(
        widget=GoogleMap(
            attrs={'width': 1850, 'height': 900}))

def index(request):
    json_path = SAVE_FILE
    raw_list = codecs.open(json_path, "r", encoding="utf-8").read().split("\n")

    gmap = maps.Map(opts={
        'center': maps.LatLng(35.70361991852944, 139.64842779766255),
        'mapTypeId': maps.MapTypeId.ROADMAP,
        'zoom': 15,
        'mapTypeControlOptions': {
            'style': maps.MapTypeControlStyle.DROPDOWN_MENU
        },
    })
    info = maps.InfoWindow({
        'content': 'Ramen Karte',
        'disableAutoPan': True
    })

    for raw_data in raw_list:
        try:
            json_data = ast.literal_eval(raw_data)
        except:
            continue

        if float(json_data["score"]) > 3.5:
            color = "FF776B"
        elif float(json_data["score"]) > 3.0:
            color = "FFBB00"
        else:
            color = "FFFFFF"

        marker_info = {
            'map': gmap,
            'position': maps.LatLng(
                float(json_data["longitude"]),
                float(json_data["latitude"])),
            "label": "%s(%s)" % (
                json_data["name"],
                json_data["score"]),
            "color": color
        }

        marker = maps.Marker(opts=marker_info)

        maps.event.addListener(marker, 'mouseover', 'myobj.markerOver')
        maps.event.addListener(marker, 'mouseout', 'myobj.markerOut')
        info.open(gmap, marker)

    context = {'form': MapForm(initial={'map': gmap})}
    return render_to_response('index.html', context)

</ i> Impressionen