[PYTHON] Scraping Data Wrangling von statistischen Informationen über neue Coronavirus-Infektionen in der Präfektur Yamanashi

Scraping Data Wrangling von statistischen Informationen über neue Coronavirus-Infektionen in der Präfektur Yamanashi

Einführung

• Auszug aus Statistische Informationen zu neuen Coronavirus-Infektionen (Auftrittsstatus, Inspektionsstatus, Anzahl der Konsultationen)
• Es wird jede Woche organisiert und die Tage werden nach Tag / Fall organisiert.

Verfahren

1. Teilen Sie den Zeitraum in Anfang und Ende, teilen Sie die Aufteilung nach Tag und kombinieren Sie sie
2. Konvertieren Sie Start und Ende auf das Datum
3. Nach Datum organisieren
4. Teilen Sie in Tage und Zahlen
5. Kombinieren Sie Start / Ende und Datum / Nummer
6. Konvertieren Sie von Tag zu Datum
7. Datum und Zwischensumme

Schaben

dfs = pd.read_html(
    "https://www.pref.yamanashi.jp/koucho/coronavirus/info_coronavirus_data.html"
)

df0 = df.iloc[1:].set_axis(["Zeitraum", "Nummer", "Nervenzusammenbruch"], axis=1)

Daten-Wrangling

Teilen Sie den Zeitraum in Anfang und Ende, teilen Sie die Aufteilung nach Tag, kombinieren Sie

df1 = pd.concat(
    [
        df0["Zeitraum"].str.split("～", expand=True).rename(columns={0: "Start", 1: "Ende"}),
        df0["Nervenzusammenbruch"].str.split("、", expand=True),
    ],
    axis=1,
)

Konvertieren Sie Start und Ende auf das Datum

df1["Start"] = df1["Start"].str.normalize("NFKC").apply(my_parser)
df1["Ende"] = df1["Ende"].str.normalize("NFKC").apply(my_parser)

Organisiert nach Datum

df2 = df1.melt(id_vars=["Start", "Ende"]).dropna()

Unterteilt in Tage und Anzahl

df3 = (
    df2["value"]
    .str.extract("([0-9,]+)[Täglich]([0-9,]+)Fall",expand=True)
    .rename(columns={0: "Tag", 1: "Zwischensumme"})
    .astype(int)
)

Kombinieren Sie Start / Ende und Datum / Nummer

df4 = pd.concat([df2, df3], axis=1)

Von Tag zu Datum konvertieren

• Vergleichen Sie das Enddatum und den Tag, ersetzen Sie das Startdatum, wenn es größer ist, ersetzen Sie das Enddatum, wenn es kleiner ist, und erstellen Sie ein Datum

df4["Datum"] = df4.apply(
    lambda x: x["Start"].replace(day=x["Tag"])
    if x["Ende"].day < x["Tag"]
    else x["Ende"].replace(day=x["Tag"]),
    axis=1,
)

Datum und Zwischensumme

df = pd.DataFrame(
    {"Zwischensumme": df4.set_index("Datum")["Zwischensumme"].sort_index().asfreq("D", fill_value=0)}
)

import datetime
import re

import pandas as pd


def my_parser(s):

    y = dt_now.year
    m, d = map(int, re.findall("(\d{1,2})", s))

    return pd.Timestamp(year=y, month=m, day=d)


def df_conv(df):

    df0 = df.iloc[1:].set_axis(["Zeitraum", "Nummer", "Nervenzusammenbruch"], axis=1)

    #Teilen Sie den Zeitraum in Start- und Enddatum, teilen Sie die Aufteilung nach Tag und kombinieren Sie sie
    df1 = pd.concat(
        [
            df0["Zeitraum"].str.split("～", expand=True).rename(columns={0: "Start", 1: "Ende"}),
            df0["Nervenzusammenbruch"].str.split("、", expand=True),
        ],
        axis=1,
    )

    #Auf Datum konvertieren
    df1["Start"] = df1["Start"].str.normalize("NFKC").apply(my_parser)
    df1["Ende"] = df1["Ende"].str.normalize("NFKC").apply(my_parser)

    #Organisiert nach Datum
    df2 = df1.melt(id_vars=["Start", "Ende"]).dropna()

    #Unterteilt in Tage und Anzahl
    df3 = (
        df2["value"]
        .str.extract("([0-9,]+)[Täglich]([0-9,]+)Fall",expand=True)
        .rename(columns={0: "Tag", 1: "Zwischensumme"})
        .astype(int)
    )

    #Kombinieren Sie Start / Ende und Datum / Nummer
    df4 = pd.concat([df2, df3], axis=1)

    #Von Tag zu Datum konvertieren
    df4["Datum"] = df4.apply(
        lambda x: x["Start"].replace(day=x["Tag"])
        if x["Ende"].day < x["Tag"]
        else x["Ende"].replace(day=x["Tag"]),
        axis=1,
    )

    #Datum und Zwischensumme
    df = pd.DataFrame(
        {"Zwischensumme": df4.set_index("Datum")["Zwischensumme"].sort_index().asfreq("D", fill_value=0)}
    )

    return df


JST = datetime.timezone(datetime.timedelta(hours=+9))
dt_now = datetime.datetime.now(JST)


dfs = pd.read_html(
    "https://www.pref.yamanashi.jp/koucho/coronavirus/info_coronavirus_data.html"
)

len(dfs)


#Inspektionsstatus von Pseudofällen am Präfekturinstitut für Gesundheit und Umwelt

df1 = df_conv(dfs[1])
df1.to_csv("pcr.csv", encoding="utf_8_sig")

#Rückkehrer / Kontaktberatungsstelle

df2 = df_conv(dfs[2])
df2.to_csv("soudan.csv", encoding="utf_8_sig")

#Konsultationszifferblatt für neue Coronavirus-Infektion

df3 = df_conv(dfs[3])
df3.to_csv("dial.csv", encoding="utf_8_sig")