[PYTHON] PDF-Datei mit der nationalen Liste der Mindestlöhne nach Regionen des Ministeriums für Gesundheit, Arbeit und Soziales

Vorbereitung

!apt install python3-tk ghostscript
!pip install camelot-py[cv]

#PDF Herunterladen
!wget https://www.mhlw.go.jp/content/11200000/000541154.pdf -O data.pdf

!pip install japanmap
!pip install japanize-matplotlib

Schaben

import re

import camelot
import pandas as pd

tables = camelot.read_pdf(
    "data.pdf", pages="all", split_text=True, strip_text=" \n", line_scale=40
)

dfs = []

for table in tables:

    df0 = table.df

    df_col = df0.head(2)

    #Komplement-Leerzeichen bei Zellzusammenführungen
    idx = pd.MultiIndex.from_arrays(
        df_col.mask(df_col == "").fillna(method="ffill", axis=1).values
    )

    df1 = df0.iloc[2:].set_axis(idx, axis=1)
    df1.set_index(("Jahr", "Name der Präfekturen"), inplace=True)
    df1.index.name = "Name der Präfekturen"

    #Von Zeile zu Spalte konvertieren
    df2 = df1.unstack().reset_index().set_axis(["Jahr", "Einstufung", "Präfekturen", "Inhalt"], axis=1)

    #Wiederaufbau nach Jahr / Präfektur
    df3 = df2.pivot(index=["Jahr", "Präfekturen"], columns="Einstufung", values="Inhalt")

    dfs.append(df3)

df = pd.concat(dfs).reset_index()

df.to_csv("data.tsv", sep="\t")

Ich konnte eine zusammengeführte Zelle mit "copy_text" von camelot kopieren h: horizontal v: vertikal https://camelot-py.readthedocs.io/en/master/user/advanced.html#copy-text-in-spanning-cells

tables = camelot.read_pdf(
    "data.pdf",
    pages="all",
    split_text=True,
    strip_text=" \n",
    line_scale=40,
    copy_text=["h"],
)

dfs = []

for table in tables:

    data = table.data
    df1 = pd.DataFrame(data[2:], columns=data[:2])

    df1.set_index(("Jahr", "Name der Präfekturen"), inplace=True)
    df1.index.name = "Name der Präfekturen"

    df2 = df1.unstack().reset_index().set_axis(["Jahr", "Einstufung", "Präfekturen", "Inhalt"], axis=1)
    df3 = df2.pivot(index=["Jahr", "Präfekturen"], columns="Einstufung", values="Inhalt")

    dfs.append(df3)

df = pd.concat(dfs).reset_index()

df.to_csv("data.tsv", sep="\t")

Aus der Yuan-Frage

def era2year(s):

    m = re.search("(Heisei|Reiwa)([0-9 Yuan]{1,2})Jahr", s)

    if m:

        era = m.group(1)
        nen = m.group(2)

        year = 1 if nen == "Ehemalige" else int(nen)

        if era == "Heisei":
            year += 1988
        elif era == "Reiwa":
            year += 2018

        return year

    return None

Daten-Wrangling

from japanmap import pref_code

#Geben Sie den Präfekturcode aus dem Präfekturnamen an
df["Präfekturcode"] = df["Präfekturen"].apply(pref_code)

#Konvertieren Sie von der Originalausgabe in den westlichen Kalender
df["ANZEIGE"] = df["Jahr"].apply(era2year)

#Kommas entfernen und in Zahlen umwandeln
df["Überarbeiteter Betrag(Kreis)"] = df["Überarbeiteter Betrag(Kreis)"].str.replace(",", "").astype(int)

#Nach Präfektur sortieren
pv = df.pivot(index=["Präfekturcode", "Präfekturen"], columns="ANZEIGE", values="Überarbeiteter Betrag(Kreis)").droplevel(
    "Präfekturcode"
)

pv

Das letzte Jahr kratzen

#Schaben

df = pd.read_html(
    "https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/koyou_roudou/roudoukijun/minimumichiran/",
    index_col=0,
    header=0,
)[0]

df.index = df.index.str.replace("\s", "")

df.rename(columns={"Mindestlohnzeit [Yen]": 2020}, inplace=True)

#Mit PDF-Liste kombinieren

pv1 = pd.concat([pv, df[2020]], axis=1)

pv1.to_csv("minimumichiran.csv")

Daten

Visualisierung

import japanize_matplotlib
import matplotlib as mpl
import matplotlib.pyplot as plt

#Auflösung
mpl.rcParams["figure.dpi"] = 200

pv1.T.plot(subplots=True, layout=(7, 7), figsize=(30, 30), ylim=(600, 1100))

#Grafik speichern
plt.savefig("minimumichiran.png ", dpi=200, bbox_inches="tight")
plt.show()

Graph