[PYTHON] Grattage des données et des informations statistiques sur les nouvelles infections à coronavirus dans la préfecture de Yamanashi

Grattage des données et des informations statistiques sur les nouvelles infections à coronavirus dans la préfecture de Yamanashi

introduction

• Scraping from Informations statistiques sur la nouvelle infection à coronavirus (état de l'occurrence, état de l'inspection, nombre de consultations)
• Il est organisé chaque semaine, et les journées sont organisées par jour / cas.

procédure

1. Divisez la période en début et en fin, divisez la ventilation par jour, combinez
2. Convertissez le début et la fin en date
3. Organiser par date
4. Divisez en jours et en nombre
5. Combinez début / fin et date / numéro
6. Conversion d'un jour à l'autre
7. Date et sous-total

Grattage

dfs = pd.read_html(
    "https://www.pref.yamanashi.jp/koucho/coronavirus/info_coronavirus_data.html"
)

df0 = df.iloc[1:].set_axis(["période", "nombre", "Panne"], axis=1)

Data wrangling

Divisez la période en début et en fin, divisez la ventilation par jour, combinez

df1 = pd.concat(
    [
        df0["période"].str.split("～", expand=True).rename(columns={0: "début", 1: "Fin"}),
        df0["Panne"].str.split("、", expand=True),
    ],
    axis=1,
)

Convertir le début et la fin en date

df1["début"] = df1["début"].str.normalize("NFKC").apply(my_parser)
df1["Fin"] = df1["Fin"].str.normalize("NFKC").apply(my_parser)

Organisé par date

df2 = df1.melt(id_vars=["début", "Fin"]).dropna()

Divisé en jours et en nombre

df3 = (
    df2["value"]
    .str.extract("([0-9,]+)[du quotidien]([0-9,]+)Cas",expand=True)
    .rename(columns={0: "journée", 1: "total"})
    .astype(int)
)

Combiner début / fin et date / numéro

df4 = pd.concat([df2, df3], axis=1)

Convertir d'un jour à l'autre

• Comparez la date et le jour de fin, remplacez la date de début si elle est plus grande, remplacez la date de fin si elle est plus petite et créez une date

df4["Date"] = df4.apply(
    lambda x: x["début"].replace(day=x["journée"])
    if x["Fin"].day < x["journée"]
    else x["Fin"].replace(day=x["journée"]),
    axis=1,
)

Date et sous-total

df = pd.DataFrame(
    {"total": df4.set_index("Date")["total"].sort_index().asfreq("D", fill_value=0)}
)

import datetime
import re

import pandas as pd


def my_parser(s):

    y = dt_now.year
    m, d = map(int, re.findall("(\d{1,2})", s))

    return pd.Timestamp(year=y, month=m, day=d)


def df_conv(df):

    df0 = df.iloc[1:].set_axis(["période", "nombre", "Panne"], axis=1)

    #Divisez la période en date de début et date de fin, divisez la ventilation par jour, combinez
    df1 = pd.concat(
        [
            df0["période"].str.split("～", expand=True).rename(columns={0: "début", 1: "Fin"}),
            df0["Panne"].str.split("、", expand=True),
        ],
        axis=1,
    )

    #Convertir en date
    df1["début"] = df1["début"].str.normalize("NFKC").apply(my_parser)
    df1["Fin"] = df1["Fin"].str.normalize("NFKC").apply(my_parser)

    #Organisé par date
    df2 = df1.melt(id_vars=["début", "Fin"]).dropna()

    #Divisé en jours et en nombre
    df3 = (
        df2["value"]
        .str.extract("([0-9,]+)[du quotidien]([0-9,]+)Cas",expand=True)
        .rename(columns={0: "journée", 1: "total"})
        .astype(int)
    )

    #Combiner début / fin et date / numéro
    df4 = pd.concat([df2, df3], axis=1)

    #Convertir d'un jour à l'autre
    df4["Date"] = df4.apply(
        lambda x: x["début"].replace(day=x["journée"])
        if x["Fin"].day < x["journée"]
        else x["Fin"].replace(day=x["journée"]),
        axis=1,
    )

    #Date et sous-total
    df = pd.DataFrame(
        {"total": df4.set_index("Date")["total"].sort_index().asfreq("D", fill_value=0)}
    )

    return df


JST = datetime.timezone(datetime.timedelta(hours=+9))
dt_now = datetime.datetime.now(JST)


dfs = pd.read_html(
    "https://www.pref.yamanashi.jp/koucho/coronavirus/info_coronavirus_data.html"
)

len(dfs)


#État de l'inspection des pseudo cas à l'Institut Préfectoral de Santé et Environnement

df1 = df_conv(dfs[1])
df1.to_csv("pcr.csv", encoding="utf_8_sig")

#Retour au centre de consultation / contact

df2 = df_conv(dfs[2])
df2.to_csv("soudan.csv", encoding="utf_8_sig")

#Cadran de consultation pour une nouvelle infection à coronavirus

df3 = df_conv(dfs[3])
df3.to_csv("dial.csv", encoding="utf_8_sig")