[PYTHON] Scraping Excel-Datei der Liste der Geschäfte, die regionale gemeinsame Gutscheine verarbeiten

Scraping der Excel-Datei von Liste der Geschäfte, die regionale gemeinsame Gutscheine verarbeiten

Schaben

import datetime
import re
from urllib.parse import urljoin

import requests
from bs4 import BeautifulSoup

url = "https://biz.goto.jata-net.or.jp/couponlist.html"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
}

r = requests.get(url, headers=headers)
r.raise_for_status()

soup = BeautifulSoup(r.content, "html.parser")

area = {}

for a in soup.select("section.download_couponlist div.button_area > a"):

    s = a.get("aria-label")
    m = re.search("Liste der Geschäfte, die regionale gemeinsame Gutscheine verwalten_(.+)（(\d{4})Jahr(\d{1,2})Mond(\d{1,2})Ab dem Datum)", s)

    year, month, day = map(int, m.group(2, 3, 4))

    area[m.group(1)] = {
        "link": urljoin(url, a.get("href")),
        "date": datetime.date(year, month, day),
    }

area

Daten-Wrangling

import pandas as pd

# area.keys()
# dict_keys(['Hokkaido', 'Tohoku Region', 'Kanto Region', 'Chubu Region', 'Kinki', 'Region China', 'Shikoku Region', 'Region Kyushu / Okinawa', 'Bundesweit'])

df0 = pd.read_excel(area["Bundesweit"]["link"])

df0["Papiercoupon"] = df0["Gutscheinart"].str.contains("Papier-", na=False).astype(int)
df0["Elektronischer Gutschein"] = df0["Gutscheinart"].str.contains("Elektronisch", na=False).astype(int)

industries = df0["Industrie"].str.split(".", expand=True).rename(columns={0: "Industrieコード", 1:"Industrie名"})

industries["Branchencode"] = industries["Branchencode"].astype(int)

df1 = pd.concat([df0, industries], axis=1)

pd.crosstab(df1["Industriename"], df1["Präfekturen"])