[PYTHON] Comment lire les données de la sous-région e-Stat

En-tête de «Chiyoda Ward (10KB)» dans «Âge (classe de 5 ans, 4 catégories), Population spécifique au sexe» des données du «Recensement national de 2010 (petite région) 2010/10/01» du ministère de l'Intérieur et des Communications e-Stat Essayez de comprendre la signification de. Si vous faites une erreur, je vous serais reconnaissant de bien vouloir commenter.

Fondamentalement, j'estime qu'il devrait être écrit dans le «document de définition», mais il y a de nombreux endroits où le sens du document de définition n'est pas bien compris. Je ne trouve pas le besoin d'expliquer «numéro de série» ou «hiérarchie».

En regardant les données, elles peuvent être lues comme s'il s'agissait d'une colonne de MultiIndex comme indiqué ci-dessous.

KEY_CODE, HYOSYO, CITYNAME, NAME, HTKSYORI, HTKSAKI, GASSAN ne sont pas répertoriés dans la définition précédente. Ces significations sont importantes.

KEY_CODE

Code administratif. La taille du compartiment change en fonction du nombre de chiffres. Le nombre de chiffres est 5, 9, 11, et il est construit à partir du système de code du code administratif. Le grand compartiment et les petits compartiments qu'il contient existent également sous forme de rangées. Lorsqu'elles sont présentes en parallèle, les plus grandes parcelles contiennent la valeur totale.

HYOSYO

La profondeur du système de code assemblé de KEY_CODE?

CITYNAME

Nom du terrain dans l'unité la plus grande

NAME

Nom du terrain dans la plus petite unité

HTKSYORI

Si un "traitement confidentiel" est effectué. Il existe deux types, "zone secrète" et "surface totale", et ils sont dans une relation mutuelle.

HTKSAKI

Une valeur est entrée lorsque «HTKSYORI» est une «zone secrète». À utiliser en concaténation avec les 5 premiers caractères de KEY_CODE sur la ligne correspondante.

GASSAN

Une valeur est entrée lorsque HtKSYORI est défini sur" Il y a une superficie totale ". À utiliser en concaténation avec les 5 premiers caractères de KEY_CODE sur la ligne correspondante. Lorsque plusieurs régions sont combinées, plusieurs régions sont concaténées avec un point-virgule.

pandas

Comme ça?

import pandas as pd

opts = dict(
    header=[0,1],
    converters={i:str for i in range(7)}
)
txt_ = pd.concat([pd.read_csv(open(f, encoding="CP932"), **opts) for f in glob.glob("tblT000573C27*.txt")])
txt_columns = txt_.columns
txt_.columns =  [c[0] if c[1].startswith("Unnamed:") else c[1] for c in txt_.columns]
txt = pd.concat([txt_[txt_.columns[:7]],
    txt_[txt_.columns[7:]].applymap(lambda s: 0 if s in ("-","X") else int(s))], axis=1)

for ri,r in txt.iterrows():
    for s in r["GASSAN"].split(";"):
        if not s:
            continue
        t = r["KEY_CODE"][:5]+s
        assert txt[txt["KEY_CODE"]==t].shape[0] == 1