[PYTHON] Grattage du fichier Excel de la liste des magasins gérant des coupons communs régionaux

Grattage du fichier Excel de Liste des magasins gérant des coupons courants dans la région

Grattage

import datetime
import re
from urllib.parse import urljoin

import requests
from bs4 import BeautifulSoup

url = "https://biz.goto.jata-net.or.jp/couponlist.html"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
}

r = requests.get(url, headers=headers)
r.raise_for_status()

soup = BeautifulSoup(r.content, "html.parser")

area = {}

for a in soup.select("section.download_couponlist div.button_area > a"):

    s = a.get("aria-label")
    m = re.search("Liste des magasins traitant des coupons communs régionaux_(.+)（(\d{4})Année(\d{1,2})Mois(\d{1,2})À la date)", s)

    year, month, day = map(int, m.group(2, 3, 4))

    area[m.group(1)] = {
        "link": urljoin(url, a.get("href")),
        "date": datetime.date(year, month, day),
    }

area

Data wrangling

import pandas as pd

# area.keys()
# dict_keys(['Hokkaido', 'Région de Tohoku', 'Région de Kanto', 'Région de Chubu', 'Kinki', 'Région de la Chine', 'Région de Shikoku', 'Région de Kyushu / Okinawa', 'À l'échelle nationale'])

df0 = pd.read_excel(area["À l'échelle nationale"]["link"])

df0["Coupon papier"] = df0["Type de coupon"].str.contains("papier", na=False).astype(int)
df0["Coupon électronique"] = df0["Type de coupon"].str.contains("Électronique", na=False).astype(int)

industries = df0["Industrie"].str.split(".", expand=True).rename(columns={0: "Industrieコード", 1:"Industrie名"})

industries["Code de l'industrie"] = industries["Code de l'industrie"].astype(int)

df1 = pd.concat([df0, industries], axis=1)

pd.crosstab(df1["Nom de l'industrie"], df1["Préfectures"])