[PYTHON] Le nombre de fermetures de magasins a-t-il augmenté en raison de l'influence du nouveau virus corona?

Récemment, en raison du nouveau virus corona, les ventes des magasins ont été lentes et le magasin est en danger de fermeture. .. .. Je vois beaucoup d'articles comme ça, alors j'ai essayé de savoir à quoi ça ressemblait réellement! C'est une série d'articles que j'ai essayés, alors fermez les yeux pour les petites lacunes. .. ..

Le contour est comme ça. --Source d'acquisition de données: https://kaiten-heiten.com/

• Méthode: marquez les données et tracez le nombre de magasins fermés pour chaque étiquette. ――Que voir: comment est le nombre de magasins fermés en avril 2020 par rapport au mois habituel?
• Période d'évaluation: du 1er janvier 2019 au 28 avril 2020 --Compris (1) Le nombre de voitures de location et de fermetures d'hôtels en avril 2020 est plus élevé que d'habitude (2) Le nombre de restaurants et de magasins de détail fermés chaque mois est important et avril 2020 n'est pas particulièrement important. ③ Le nombre de magasins ouverts diminue globalement

Organiser les données

L'acquisition des données

Les données ont été obtenues à l'ouverture et à la fermeture du magasin.com (https://kaiten-heiten.com/).

Balisage

Les quatre types de balises suivants sont attachés aux balises.

--Industrie (par exemple, restaurants, magasins de détail, etc.)

• Petite industrie (viande grillée, Genghis Khan, etc. dans les restaurants)
• Région (Hokkaido, Tohoku, etc.) --Préfectures (Kyoto, Kagoshima, etc.)

Ce qui suit fait partie de l'article sur Opening and Closing.com. Si vous regardez en bas de l'image, vous pouvez voir qu'il existe quatre types de balises que vous souhaitez obtenir cette fois. Utilisez ceci en grattant.

Les informations telles que l'ouverture et la fermeture sont tirées du titre de l'article. Dans l'image ci-dessus, il sera "fermé". En outre, la relation entre l'industrie-petite industrie et la région-préfecture peut être créée à partir de la page d'informations {Ouvrir / Fermer} - {Industrie / Région} dans Ouvrir / Fermer. Les écrans de ces pages sont ci-dessous et vous pouvez voir la relation en les regardant.

Problèmes de balisage, notes

Il y a eu des problèmes de marquage. Notez que cette solution est arbitraire et peut fausser les résultats.

Il y a une petite étiquette d'industrie dans l'étiquette d'article, mais aucune étiquette d'industrie

Par exemple, le «magasin de chaussures» est rattaché à une petite industrie comme indiqué ci-dessous, mais l'industrie n'est pas classée.

Pour résoudre ce problème, créez un dictionnaire {industrie: petit groupe industriel} à partir de la page qui décrit la relation industrie-petite industrie présentée dans l'image de la section précédente. En utilisant cela, j'ai adopté l'industrie à laquelle appartient la petite industrie étiquetée comme industrie de l'article.

La méthode de création d'un dictionnaire a été créée en créant un dictionnaire pour chaque industrie de l'information d'ouverture de magasin et industrie de l'information de fermeture de magasin, et en créant un ensemble de somme des éléments. La raison de prendre l'ensemble de somme est qu'il y a une différence dans l'affichage sur la page d'informations {ouverture, fermeture}.

#Créer un dictionnaire à partir de l'url de la page d'ouverture / fermeture
def get_group(url):
    html = urlopen(url)
    bsObj = BeautifulSoup(html, 'html.parser')
    
    body = bsObj.find('div', attrs={'class': 'post_body'})
    titles = bsObj.find('div', attrs={'class': 'post_body'}).find_all('h3')
    group = [title.text for title in titles]
    elems = bsObj.find('div', attrs={'class': 'post_body'}).find_all('p')
    small_group = [[a.text for a in elem.find_all('a')] for elem in elems if elem.find('a')]
    dict_group_to_small_group = {g: set(sg) for g, sg in zip(group, small_group)}
    return dict_group_to_small_group

g_kaiten = get_group('https://kaiten-heiten.com/kaiten/kaiten-gyousyubetsu/')
g_heiten = get_group('https://kaiten-heiten.com/heiten/heiten-gyousyubetsu/')

#Créer un dictionnaire avec la somme des éléments du dictionnaire créé
group_to_small_group = dict(g_kaiten)
for key in g_heiten.keys():
    if key in group_to_small_group.keys():group_to_small_group[key] |= g_heiten[key]
    else: group_to_small_group[key] = g_heiten[key]

{Ouverture, fermeture} Information - Il existe de nombreuses petites balises industrielles qui ne sont pas par secteur

Il y a beaucoup de balises que j'ai oublié de taper et de balises qui ne figurent pas sur la page de l'industrie. Par exemple, la balise "Dojin Shop" n'est pas répertoriée dans la page {Open, Closed} Information-Industrie. Cependant, en réalité, il existe des articles avec la balise "Dojin Shop". Si vous effectuez une recherche avec la balise "Dojin Shop", de nombreux articles ont un magasin de détail comme étiquette de secteur.

Par conséquent, dans le cas du doujinshi, le secteur «magasin de détail» est ajouté manuellement au dictionnaire ** {industrie: petit groupe industriel} comme suit.

group_to_small_group['magasin de détail'] |= set(['Boutique de bricolage'])

Nous l'avons fait pour ** presque toutes les balises ** qui ne figurent pas dans le dictionnaire {industry: small industry group}. Le seul petit tag de l'industrie que je n'ai pas fait était "blog". En effet, le type d'industrie auquel il appartient n'était pas clair et la petite balise «blog» de l'industrie est ** ignorée ** cette fois.

Je ne l'ai pas fait cette fois, mais en tant que méthode plus intelligente, je pense qu'il aurait été préférable de renvoyer ceux qui n'ont pas d'étiquette d'industrie et d'attacher l'étiquette d'industrie avec le plus grand nombre de cas avec l'étiquette de petite industrie souhaitée. .. ..

La balise article a une balise prefecture mais aucune balise region

Par exemple, le sukusho suivant est étiqueté avec la préfecture "Osaka", mais n'a pas le tag régional "Kinki" qui devrait l'être.

Cela peut être fait en créant et en utilisant un dictionnaire {region: prefecture group} de la même manière que "la balise article a une petite balise industrie mais aucune balise industrie".

g_kaiten = get_group('https://kaiten-heiten.com/kaiten/area-open/')
g_heiten = get_group('https://kaiten-heiten.com/heiten/area-close/')

region_to_pref = dict(g_kaiten)
for key in g_heiten.keys():
    if key in region_to_pref.keys():region_to_pref[key] |= g_heiten[key]
    else: region_to_pref[key] = g_heiten[key]

Une balise de région ne figure pas sur la page de région

Cela se produit fréquemment avec les balises à Hokkaido. Tout comme dans le cas de "La balise d'article a une balise d'état mais pas de balise de zone", vous pouvez l'ajouter au dictionnaire chaque fois que vous la trouvez. Par exemple, vous pouvez procéder comme suit.

region_to_area['Hokkaido'] |= set(['Ashibetsu'])

• Bien que nous fassions un dictionnaire {region, prefecture}, seul Hokkaido est {Hokkaido, prefecture name group}. .. ..

Visualisation de données

point important

Dans cette analyse, la date de création de l'article est la date à laquelle il a été {ouvert, fermé}. Cependant, en réalité, certains des articles publiés sur Open / Close.com ont été créés par fourniture d'informations, de sorte que la date de création de l'article ne correspond pas nécessairement à la date {Open / Close}. Veuillez vous assurer de saisir la forme approximative.

La période de données va du 1er janvier 2019 au 28 avril 2020.

DataFrame Les données obtenues sont résumées dans DataFrame of pandas. Certains d'entre eux sont ci-dessous.

--Date: la date de création de l'article --Groupe: i: i-ème industrie (car certaines industries ont plusieurs industries) --Petit groupe: i: i-ème petite industrie (car certaines industries ont plusieurs petites industries) --Nom: nom du magasin --Region: i: i-th region (dans le cas de la fermeture simultanée de plusieurs magasins, i = 2 et 3 ont également des valeurs)

• Préfecture: i: i-ème préfecture (i = 1, ..., 5 est le même que la zone et a une valeur lorsque plusieurs magasins sont fermés en même temps) --Etat: ouverture, fermeture, fermeture, etc.
• URL：URL --Année / Mois: Date avec uniquement l'année et le mois extraits

Comme vous pouvez le voir ci-dessus, les données peuvent être étiquetées avec plusieurs industries. Par conséquent, ici, lors de la classification par balise, on suppose que les éléments avec plusieurs balises appartiennent à toutes ces balises multiples. Par exemple, si un magasin possède plusieurs balises sectorielles (détaillants, restaurants), il appartient à la fois au DataFrame, qui est un ensemble de magasins de vente au détail uniquement, et au DataFrame, qui est un ensemble de restaurants uniquement. Cette fonction est fournie par la fonction suivante.

def compile_columns_to_one_column(df, columns={'Group:{}'.format(i) for i in range(1, 4+1)}, result_column_name='Group'):
    #Créer un ensemble d'éléments pour la colonne cible
    groups = set([])
    for col in columns:
        groups |= set(df[col].dropna())

    #Créer un df pour chaque élément de l'ensemble créé et concat
    group_df = pd.DataFrame()
    for g in groups:
        group_df = pd.concat([group_df] + [df[g == df[col]].assign(tmp=g) for col in columns])
    
    return group_df.rename(columns={'tmp': result_column_name})

#DataFrame par industrie et petite industrie
group_df = compile_columns_to_one_column(base_df, {'Group:{}'.format(i) for i in range(1, 4+1)}, result_column_name='Group')
sgroup_df = compile_columns_to_one_column(group_df, {'SmallGroup:{}'.format(i) for i in range(1, 4+1)}, result_column_name='SmallGroup')
group_df = group_df.loc[:, ['Date', 'Year/Month', 'Group', 'Name', 'State', 'URL']]
sgroup_df = sgroup_df.loc[:, ['Date', 'Year/Month', 'Group', 'SmallGroup', 'Name', 'State', 'URL']]

#Créer un DataFrame pour chaque région et préfecture
region_df = compile_columns_to_one_column(base_df, {'Region:{}'.format(i) for i in range(1, 3+1)}, result_column_name='Region')
pref_df = compile_columns_to_one_column(region_df, {'Prefecture:{}'.format(i) for i in range(1, 5+1)}, result_column_name='Prefecture')
region_df = region_df.loc[:, ['Date', 'Year/Month', 'Region', 'Name', 'State', 'URL']]
pref_df = pref_df.loc[:, ['Date', 'Year/Month', 'Region', 'Prefecture', 'Name', 'State', 'URL']]

Par exemple, les éléments de group_df qui résument les industries sont les suivants.

Nombre de magasins fermés

Par industrie

La liste des industries est la suivante. --Un service --Des sports

• location --Equipements publics / transports / finances
• magasin de détail --Beauté / Santé / Bien-être
• Tourisme / Hébergement / Voyage / Loisirs --Voiture / Immobilier
• restaurant

Toute l'industrie

Le code et les résultats comptés et tracés par industrie sont les suivants.

tmp = group_df[group_df['State'] == 'fermé']
tmp = tmp.groupby(['Year/Month', 'Group']).size().to_frame('Nombre de magasins fermés').reset_index()
plt.figure(figsize=(15, 10))
sns.barplot(x='Year/Month', y='Nombre de magasins fermés', data=tmp, hue='Group')
plt.legend(ncol=3)
plt.show()

En regardant cela, nous pouvons voir que:

―― Le nombre de restaurants et de magasins de détail fermés était à l'origine très important, et mars et avril ne sont pas encore importants. ――Il semble que le nombre de fermetures de locations, visites touristiques / hébergements / voyages / loisirs ait augmenté.

Sur cette base, nous examinerons les petites industries de la location et du tourisme.

Petite industrie

Il existe de nombreuses petites industries, je ne les écrirai donc pas. Veuillez confirmer que les petites industries liées à la location et aux voyages sont indiquées dans la figure ci-dessous.

Tout d'abord, créez une parcelle similaire sur le système de location.

rentals = sgroup_df[(sgroup_df['State'] == 'fermé') & (sgroup_df['Group'] == 'de location')]
rentals_count = rentals.groupby(['Year/Month', 'SmallGroup']).size().to_frame('Nombre de magasins fermés').reset_index()

max_count = rentals_count['Nombre de magasins fermés'].max()
min_ym, max_ym = rentals_count['Year/Month'].min(), rentals_count['Year/Month'].max()

plt.figure(figsize=(15, 10))
plt.xlim(min_ym, max_ym)
plt.ylim(0, max_count*1.1)
sns.barplot(x='Year/Month', y='Nombre de magasins fermés', data=rentals_count, hue='SmallGroup')
plt.legend(ncol=2)
plt.show()

En regardant cela, vous pouvez voir que la «location de voiture / partage de voiture» augmente beaucoup. En regardant les données basées sur cela, nous avons constaté qu'un grand nombre de Toyota Rent-A-Car ont fermé le 18 avril. Voici le code complet et les données brutes.

rentals_rentalcar = rentals[(rentals['SmallGroup'] == 'Location de voiture / covoiturage') & (rentals.Date >= datetime.date(2020, 4, 1))]
writer = pytablewriter.MarkdownTableWriter()
writer.from_dataframe(rentals_rentalcar.loc[:, ['Date', 'Name', 'URL']])
writer.write_table()

Ensuite, regardons le système de voyage.

travels = sgroup_df[(sgroup_df['State'] == 'fermé') & (sgroup_df['Group'] == 'Tourisme / hébergement / voyage / loisirs')]
travels_count = travels.groupby(['Year/Month', 'SmallGroup']).size().to_frame('Count').reset_index()

max_count = travels_count.Count.max()
min_ym, max_ym = rentals_count['Year/Month'].min(), rentals_count['Year/Month'].max()

#Comme il existe de nombreux types, tracer par taille
size = 9
small_groups = travels_count['SmallGroup'].unique()
plot_num = int(len(small_groups)/size)+1
for i in range(plot_num):
    target_groups = small_groups[i*size:(i+1)*size]
    
    plt.figure(figsize=(15, 5))
    plt.xlim(min_ym, max_ym)
    plt.ylim(0, max_count*1.1)
    sns.barplot(x='Year/Month', y='Count', data=travels_count[travels_count['SmallGroup'].isin(target_groups)], hue='SmallGroup')
    plt.legend(ncol=3)
    plt.show()

En regardant cela, nous pouvons voir que le nombre de "Hotel Business Hotel" et "Capsule Hotel" fermés en avril a augmenté par rapport au mois habituel. De même, lorsque les données brutes sont sorties, c'est comme suit. L'hôtel est visiblement fermé dans la première cabine. Dans d'autres hôtels, les mêmes vendeurs ne sont pas fermés ensemble, et il semble que les hôtels de destination touristique du pays soient fermés. Est-ce une forte baisse des touristes? .. ..

Par région

Ensuite, regardons chaque région. Cependant, je n'ai pas pu trouver une telle différence dans chaque région. .. ..

tmp = region_df[region_df['State'] == 'fermé']
tmp = tmp.groupby(['Year/Month', 'Region']).size().to_frame('Nombre de magasins fermés').reset_index()
plt.figure(figsize=(15, 5))
sns.barplot(x='Year/Month', y='Nombre de magasins fermés', data=tmp, hue='Region')
plt.legend(ncol=4)
plt.show()

Nombre de magasins ouverts

Par industrie

Le type d'entreprise est le même que celui traité à la clôture. En avril, le nombre de magasins ouverts dans toutes les industries semble être plus faible que d'habitude.

tmp = group_df[group_df['State'] == 'Ouverture']
tmp = tmp.groupby(['Year/Month', 'Group']).size().to_frame('Nombre de magasins ouverts').reset_index()
plt.figure(figsize=(15, 5))
sns.barplot(x='Year/Month', y='Nombre de magasins ouverts', data=tmp, hue='Group')
plt.legend(ncol=3)
plt.show()

Par région

Les zones et préfectures sont les mêmes que celles traitées lors de la fermeture du magasin. Comme pour chaque industrie, le nombre de magasins ouverts dans toutes les régions semble inférieur à la normale.

tmp = region_df[region_df['State'] == 'Ouverture']
tmp = tmp.groupby(['Year/Month', 'Region']).size().to_frame('Nombre de magasins ouverts').reset_index()
plt.figure(figsize=(15, 5))
sns.barplot(x='Year/Month', y='Nombre de magasins ouverts', data=tmp, hue='Region')
plt.legend(ncol=4)
plt.show()

Résumé et impressions

• Il était difficile d'organiser les données (principalement le marquage)
• Les restaurants et les magasins de détail ont un grand nombre de fermetures, et avril n'est pas un nombre particulier de fermetures.
• De nombreux hôtels et magasins de location de voitures ont-ils fermé leurs portes parce que le nombre de voyageurs a diminué en raison du nouveau virus corona?
• Comme prévu, le nombre de nouveaux magasins diminue

Ce dont je me suis souvenu

• Affichage japonais sur Seaborn!

D'autres choses qui m'ont intéressé et qui m'ont intéressé

La principale chose sur laquelle j'ai enquêté était les changements soudains autres qu'en avril.

Juin 2019 Tag

En regardant la répartition des balises «Installations publiques / Transports / Finances» ce mois-ci, il semble que Nomura Securities ait fermé de nombreuses succursales.

La raison pour laquelle seuls Nomura Securities apparaît de manière significative est que Daiwa Securities n'a pas consolidé ou supprimé les succursales à grande échelle et que les autres titres affiliés à des banques ont des magasins communs avec des banques, de sorte qu'ils ne sont pas reconnus comme fermés. Ou est-ce simplement parce que Nomura Securities a plus de succursales que d'autres titres et qu'il y a de nombreuses consolidations et abolitions?

Balise "Karaoké" de janvier à mai 2019

De nombreuses balises de karaoké étaient fermées à ce moment-là, j'ai donc jeté un coup d'œil aux données brutes. Vous trouverez ci-dessous les données brutes de janvier à mai, et il semble que chaque société de karaoké ait tendance à fermer plusieurs magasins le même jour.

Cela semble être une entreprise autre que le karaoké. Par exemple, fermer toute gestion de franchise non rentable en même temps?