[PYTHON] Hat die Anzahl der Ladenschließungen aufgrund des Einflusses des neuen Koronavirus zugenommen?

Aufgrund des neuen Corona-Virus waren die Verkaufszahlen in jüngster Zeit schleppend und die Schließung des Geschäfts droht. .. .. Ich sehe viele solche Nachrichtenartikel, also habe ich versucht herauszufinden, wie es tatsächlich war! Es ist eine Reihe von Artikeln, die ich ausprobiert habe. Bitte schließen Sie die Augen, um kleine Lücken zu schließen. .. ..

Der Umriss ist so.

• Datenerfassungsquelle: https://kaiten-heiten.com/ --Methode: Kennzeichnen Sie die Daten und zeichnen Sie die Anzahl der geschlossenen Speicher für jedes Tag auf. ――Was zu sehen ist: Wie ist die Anzahl der im April 2020 geschlossenen Geschäfte im Vergleich zum üblichen Monat?
• Bewertungszeitraum: 1. Januar 2019 bis 28. April 2020 --Verstanden (1) Die Zahl der Mietwagen und Hotelschließungen im April 2020 ist höher als üblich (2) Die Anzahl der Restaurants und Einzelhandelsgeschäfte, die jeden Monat geschlossen werden, ist groß, und der April 2020 ist nicht besonders groß. ③ Die Anzahl der geöffneten Geschäfte nimmt insgesamt ab

Daten organisieren

Datenerfassung

Die Daten wurden von der Filialeröffnung und -schließung (https://kaiten-heiten.com/) bezogen.

Markieren

Die folgenden vier Arten von Tags werden an die Tags angehängt.

• Industrie (zum Beispiel Restaurants, Einzelhandelsgeschäfte usw.)
• Kleine Industrie (gegrilltes Fleisch, Dschingis Khan usw. in Restaurants)
• Region (Hokkaido, Tohoku usw.)
• Präfekturen (Kyoto, Kagoshima usw.)

Das Folgende ist ein Teil des Artikels auf Opening and Closing.com. Wenn Sie sich den unteren Rand des Bildes ansehen, sehen Sie, dass es vier Arten von Tags gibt, die Sie dieses Mal erhalten möchten. Verwenden Sie dies durch Schaben.

Informationen wie Öffnen und Schließen werden dem Titel des Artikels entnommen. Im obigen Bild wird es "geschlossen". Darüber hinaus kann die Beziehung zwischen Industrie-Kleinindustrie und Region-Präfektur auf der Informationsseite {Öffnen, Schließen} {Industrie, Region} in Opening and Closing.com erstellt werden. Die Bildschirme auf diesen Seiten befinden sich unten, und Sie können die Beziehung sehen, indem Sie sie betrachten.

Probleme beim Markieren, Notizen

Es gab einige Probleme beim Markieren. Beachten Sie, dass diese Lösung beliebig ist und die Ergebnisse verfälschen kann.

Das Artikel-Tag enthält ein kleines Branchen-Tag, aber kein Branchen-Tag

Zum Beispiel ist "Schuhgeschäft" wie unten gezeigt als kleine Branche angeschlossen, aber die Branche ist nicht klassifiziert.

Um dies zu lösen, erstellen Sie auf der Seite ein Wörterbuch {Industrie: kleine Industriegruppe}, das die im vorherigen Abschnitt eingeführte Beziehung zwischen Industrie und Kleinindustrie beschreibt. Damit habe ich die Branche, zu der die getaggte Kleinindustrie gehört, als Branche des Artikels übernommen.

Die Methode zum Erstellen eines Wörterbuchs wurde erstellt, indem ein Wörterbuch für jede Informationsbranche zum Öffnen von Geschäften und zum Schließen von Informationen erstellt und ein Summensatz der Elemente erstellt wurde. Der Grund für die Verwendung des Summensatzes ist, dass es einen Unterschied in der Anzeige auf der Informationsseite {Öffnen, Schließen} gibt.

#Erstellen Sie ein Wörterbuch aus der URL der öffnenden / schließenden Seite
def get_group(url):
    html = urlopen(url)
    bsObj = BeautifulSoup(html, 'html.parser')
    
    body = bsObj.find('div', attrs={'class': 'post_body'})
    titles = bsObj.find('div', attrs={'class': 'post_body'}).find_all('h3')
    group = [title.text for title in titles]
    elems = bsObj.find('div', attrs={'class': 'post_body'}).find_all('p')
    small_group = [[a.text for a in elem.find_all('a')] for elem in elems if elem.find('a')]
    dict_group_to_small_group = {g: set(sg) for g, sg in zip(group, small_group)}
    return dict_group_to_small_group

g_kaiten = get_group('https://kaiten-heiten.com/kaiten/kaiten-gyousyubetsu/')
g_heiten = get_group('https://kaiten-heiten.com/heiten/heiten-gyousyubetsu/')

#Erstellen Sie ein Wörterbuch mit der Summe der Elemente des erstellten Wörterbuchs
group_to_small_group = dict(g_kaiten)
for key in g_heiten.keys():
    if key in group_to_small_group.keys():group_to_small_group[key] |= g_heiten[key]
    else: group_to_small_group[key] = g_heiten[key]

{Öffnen, Schließen} Informationen - Es gibt viele kleine Branchen-Tags, die nicht von der Branche stammen

Es gibt viele Tags, die ich vergessen habe zu tippen, und Tags, die nicht auf der Industrieseite stehen. Beispielsweise ist das Tag "Dojin Shop" nicht auf der Seite {Open, Closed} Information-Industry aufgeführt. In Wirklichkeit gibt es jedoch Artikel mit dem Tag "Dojin Shop". Wenn Sie mit dem Tag "Dojin Shop" suchen, haben viele Artikel ein Einzelhandelsgeschäft als Branchen-Tag.

Daher wird im Fall von Doujinshi das Branchen- "Einzelhandelsgeschäft" wie folgt manuell zum Wörterbuch ** {Industrie: kleine Industriegruppe} hinzugefügt.

group_to_small_group['Ladengeschäft'] |= set(['Do-it-yourself-Shop'])

Wir haben dies für ** fast alle Tags ** getan, die nicht im Wörterbuch {Branche: kleine Industriegruppe} enthalten sind. Das einzige kleine Industrie-Tag, das ich nicht gemacht habe, war "Blog". Dies liegt daran, dass unklar war, zu welcher Branche es gehört, und das kleine Branchen-Tag "Blog" diesmal ** ignoriert ** wird.

Diesmal habe ich es nicht getan, aber als intelligentere Methode wäre es meiner Meinung nach besser gewesen, diejenigen ohne Branchenkennzeichnung zu verschieben und die Branchenkennzeichnung mit der größten Anzahl von Fällen mit der gewünschten kleinen Branchenkennzeichnung zu versehen. .. ..

Das Artikel-Tag hat ein Präfektur-Tag, aber kein Regions-Tag

Zum Beispiel ist das folgende Sukusho mit der Präfektur "Osaka" versehen, hat aber nicht das regionale Etikett "Kinki", das es sein sollte.

Dies kann durch Erstellen und Verwenden eines Wörterbuchs {region: prefecture group} auf dieselbe Weise erfolgen wie "Das Artikel-Tag hat ein kleines Industrie-Tag, aber kein Industrie-Tag".

g_kaiten = get_group('https://kaiten-heiten.com/kaiten/area-open/')
g_heiten = get_group('https://kaiten-heiten.com/heiten/area-close/')

region_to_pref = dict(g_kaiten)
for key in g_heiten.keys():
    if key in region_to_pref.keys():region_to_pref[key] |= g_heiten[key]
    else: region_to_pref[key] = g_heiten[key]

Es gibt ein Regions-Tag, das sich nicht auf der Regionsseite befindet

Dies passiert häufig mit Tags in Hokkaido. Genau wie im Fall von "Artikel-Tag hat Status-Tag, aber kein Bereichs-Tag" können Sie es jedes Mal zum Wörterbuch hinzufügen, wenn Sie es finden. Sie können beispielsweise Folgendes tun.

region_to_area['Hokkaido'] |= set(['Ashibetsu'])

• Obwohl wir ein {Region, Präfektur} Wörterbuch erstellen, ist nur Hokkaido {Hokkaido, Präfekturnamengruppe}. .. ..

Datenvisualisierung

wichtiger Punkt

In dieser Analyse ist das Erstellungsdatum des Artikels das Datum, an dem er {geöffnet, geschlossen} wurde. Tatsächlich werden jedoch einige der auf Open / Close.com veröffentlichten Artikel durch Bereitstellung von Informationen erstellt, sodass das Erstellungsdatum des Artikels nicht unbedingt dem Datum {Öffnen / Schließen} entspricht. Bitte stellen Sie sicher, dass Sie die ungefähre Form erfassen.

Der Datenzeitraum ist vom 1. Januar 2019 bis zum 28. April 2020.

DataFrame Die erhaltenen Daten sind in DataFrame von Pandas zusammengefasst. Einige von ihnen sind unten.

--Datum: Das Datum, an dem der Artikel erstellt wurde

• Gruppe: i: i-te Industrie (weil einige Branchen mehrere Branchen haben) --SmallGroup: i: i-te Kleinindustrie (weil einige Branchen mehrere Kleinindustrien haben) --Name: Speichername --Region: i: i-te Region (beim gleichzeitigen Schließen mehrerer Geschäfte haben i = 2 und 3 ebenfalls Werte)
• Präfektur: i: i-te Präfektur (i = 1, ..., 5 entspricht der Fläche und hat einen Wert, wenn mehrere Geschäfte gleichzeitig geschlossen sind) --State: Öffnen, Schließen, Schließen usw.
• URL：URL
• Jahr / Monat: Datum, an dem nur das Jahr und der Monat extrahiert wurden

Wie Sie oben sehen können, können die Daten mit mehreren Branchen gekennzeichnet sein. Daher wird hier bei der Klassifizierung nach Tag angenommen, dass Elemente mit mehreren Tags zu all diesen mehreren Tags gehören. Wenn ein Geschäft beispielsweise mehrere Branchen-Tags (Einzelhändler, Restaurants) hat, gehört es sowohl zum DataFrame, bei dem es sich nur um eine Sammlung von Einzelhandelsgeschäften handelt, als auch zum DataFrame, bei dem es sich nur um eine Sammlung von Restaurants handelt. Diese Funktion wird von der folgenden Funktion bereitgestellt.

def compile_columns_to_one_column(df, columns={'Group:{}'.format(i) for i in range(1, 4+1)}, result_column_name='Group'):
    #Erstellen Sie eine Reihe von Elementen für die Zielspalte
    groups = set([])
    for col in columns:
        groups |= set(df[col].dropna())

    #Erstellen Sie eine df für jedes Element der erstellten Menge und des Concats
    group_df = pd.DataFrame()
    for g in groups:
        group_df = pd.concat([group_df] + [df[g == df[col]].assign(tmp=g) for col in columns])
    
    return group_df.rename(columns={'tmp': result_column_name})

#DataFrame nach Industrie und Kleinindustrie
group_df = compile_columns_to_one_column(base_df, {'Group:{}'.format(i) for i in range(1, 4+1)}, result_column_name='Group')
sgroup_df = compile_columns_to_one_column(group_df, {'SmallGroup:{}'.format(i) for i in range(1, 4+1)}, result_column_name='SmallGroup')
group_df = group_df.loc[:, ['Date', 'Year/Month', 'Group', 'Name', 'State', 'URL']]
sgroup_df = sgroup_df.loc[:, ['Date', 'Year/Month', 'Group', 'SmallGroup', 'Name', 'State', 'URL']]

#Erstellen Sie einen DataFrame für jede Region und Präfektur
region_df = compile_columns_to_one_column(base_df, {'Region:{}'.format(i) for i in range(1, 3+1)}, result_column_name='Region')
pref_df = compile_columns_to_one_column(region_df, {'Prefecture:{}'.format(i) for i in range(1, 5+1)}, result_column_name='Prefecture')
region_df = region_df.loc[:, ['Date', 'Year/Month', 'Region', 'Name', 'State', 'URL']]
pref_df = pref_df.loc[:, ['Date', 'Year/Month', 'Region', 'Prefecture', 'Name', 'State', 'URL']]

Die Elemente von group_df, die die Branchen zusammenfassen, lauten beispielsweise wie folgt.

Anzahl der geschlossenen Geschäfte

Nach Branchen

Die Liste der Branchen lautet wie folgt. --Bedienung --Sport

• Vermietung
• Öffentliche Einrichtungen / Transport / Finanzen
• Ladengeschäft
• Schönheit / Gesundheit / Wohlfahrt
• Sightseeing / Unterkunft / Reisen / Freizeit
• Auto / Immobilien
• Restaurant

Ganze Industrie

Der Code und die Ergebnisse, die von der Industrie gezählt und aufgezeichnet werden, lauten wie folgt.

tmp = group_df[group_df['State'] == 'geschlossen']
tmp = tmp.groupby(['Year/Month', 'Group']).size().to_frame('Anzahl der geschlossenen Geschäfte').reset_index()
plt.figure(figsize=(15, 10))
sns.barplot(x='Year/Month', y='Anzahl der geschlossenen Geschäfte', data=tmp, hue='Group')
plt.legend(ncol=3)
plt.show()

Wenn wir uns das ansehen, können wir Folgendes sehen:

――Die Anzahl der geschlossenen Restaurants und Einzelhandelsgeschäfte war ursprünglich sehr groß, und März und April sind noch nicht groß. ――Es scheint, dass die Anzahl der Miet-, Besichtigungs- / Unterbringungs- / Reise- / Freizeitschließungen zugenommen hat.

Auf dieser Grundlage werden wir uns mit kleinen Vermietungs- und Tourismusbranchen befassen.

Kleinindustrie

Ich werde nicht schreiben, weil es viele kleine Industrien gibt. Bitte bestätigen Sie, dass die miet- und reisebezogenen Kleinindustrien in der folgenden Abbildung aufgeführt sind.

Machen Sie zunächst ein ähnliches Grundstück im Mietsystem.

rentals = sgroup_df[(sgroup_df['State'] == 'geschlossen') & (sgroup_df['Group'] == 'Vermietung')]
rentals_count = rentals.groupby(['Year/Month', 'SmallGroup']).size().to_frame('Anzahl der geschlossenen Geschäfte').reset_index()

max_count = rentals_count['Anzahl der geschlossenen Geschäfte'].max()
min_ym, max_ym = rentals_count['Year/Month'].min(), rentals_count['Year/Month'].max()

plt.figure(figsize=(15, 10))
plt.xlim(min_ym, max_ym)
plt.ylim(0, max_count*1.1)
sns.barplot(x='Year/Month', y='Anzahl der geschlossenen Geschäfte', data=rentals_count, hue='SmallGroup')
plt.legend(ncol=2)
plt.show()

Wenn Sie dies betrachten, können Sie sehen, dass "Mietwagen / Carsharing" sehr stark zunimmt. Bei Betrachtung der darauf basierenden Daten stellten wir fest, dass eine große Anzahl von Toyota Rent-A-Car am 18. April geschlossen wurde. Unten finden Sie den gesamten Code und die Rohdaten.

rentals_rentalcar = rentals[(rentals['SmallGroup'] == 'Mietwagen / Carsharing') & (rentals.Date >= datetime.date(2020, 4, 1))]
writer = pytablewriter.MarkdownTableWriter()
writer.from_dataframe(rentals_rentalcar.loc[:, ['Date', 'Name', 'URL']])
writer.write_table()

Als nächstes schauen wir uns das Reisesystem an.

travels = sgroup_df[(sgroup_df['State'] == 'geschlossen') & (sgroup_df['Group'] == 'Sightseeing / Unterkunft / Reisen / Freizeit')]
travels_count = travels.groupby(['Year/Month', 'SmallGroup']).size().to_frame('Count').reset_index()

max_count = travels_count.Count.max()
min_ym, max_ym = rentals_count['Year/Month'].min(), rentals_count['Year/Month'].max()

#Da es viele Arten gibt, zeichnen Sie nach Größe
size = 9
small_groups = travels_count['SmallGroup'].unique()
plot_num = int(len(small_groups)/size)+1
for i in range(plot_num):
    target_groups = small_groups[i*size:(i+1)*size]
    
    plt.figure(figsize=(15, 5))
    plt.xlim(min_ym, max_ym)
    plt.ylim(0, max_count*1.1)
    sns.barplot(x='Year/Month', y='Count', data=travels_count[travels_count['SmallGroup'].isin(target_groups)], hue='SmallGroup')
    plt.legend(ncol=3)
    plt.show()

Wenn wir uns das ansehen, können wir sehen, dass die Anzahl der im April geschlossenen "Hotel Business Hotel" und "Capsule Hotel" im Vergleich zum üblichen Monat gestiegen ist. In ähnlicher Weise ist es bei der Ausgabe der Rohdaten wie folgt. Das Hotel ist in der ersten Kabine auffällig geschlossen. In anderen Hotels sind dieselben Anbieter nicht zusammen geschlossen, und es scheint, dass Hotels für Touristenziele im ganzen Land geschlossen sind. Ist es ein starker Rückgang der Touristen? .. ..

Nach Region

Als nächstes schauen wir uns jede Region an. Ich konnte jedoch nicht in jeder Region einen solchen Unterschied feststellen. .. ..

tmp = region_df[region_df['State'] == 'geschlossen']
tmp = tmp.groupby(['Year/Month', 'Region']).size().to_frame('Anzahl der geschlossenen Geschäfte').reset_index()
plt.figure(figsize=(15, 5))
sns.barplot(x='Year/Month', y='Anzahl der geschlossenen Geschäfte', data=tmp, hue='Region')
plt.legend(ncol=4)
plt.show()

Anzahl der geöffneten Geschäfte

Nach Branchen

Die Art des Geschäfts ist die gleiche wie beim Abschluss. Im April scheint die Anzahl der in allen Branchen eröffneten Geschäfte geringer zu sein als üblich.

tmp = group_df[group_df['State'] == 'Öffnung']
tmp = tmp.groupby(['Year/Month', 'Group']).size().to_frame('Anzahl der geöffneten Geschäfte').reset_index()
plt.figure(figsize=(15, 5))
sns.barplot(x='Year/Month', y='Anzahl der geöffneten Geschäfte', data=tmp, hue='Group')
plt.legend(ncol=3)
plt.show()

Nach Region

Die Bereiche und Präfekturen sind die gleichen wie bei der Schließung des Geschäfts. Wie in jeder Branche scheint die Anzahl der in allen Regionen eröffneten Geschäfte geringer zu sein als gewöhnlich.

tmp = region_df[region_df['State'] == 'Öffnung']
tmp = tmp.groupby(['Year/Month', 'Region']).size().to_frame('Anzahl der geöffneten Geschäfte').reset_index()
plt.figure(figsize=(15, 5))
sns.barplot(x='Year/Month', y='Anzahl der geöffneten Geschäfte', data=tmp, hue='Region')
plt.legend(ncol=4)
plt.show()

Zusammenfassung und Eindrücke

• Es war schwierig, die Daten zu organisieren (hauptsächlich Tagging)
• Ess- und Trinkbetriebe haben eine große Anzahl von Schließungen, und der April ist keine besondere Anzahl von Schließungen.
• Haben viele Hotels und Autovermietungen geschlossen, weil die Zahl der Reisenden aufgrund des neuen Koronavirus zurückgegangen ist?
• Wie erwartet nimmt die Anzahl neuer Geschäfte ab

Woran ich mich erinnerte

• Japanische Anzeige auf Seaborn!

Andere Dinge, die mich interessierten und untersuchten

Die Hauptsache, die ich untersuchte, waren die plötzlichen Veränderungen außer April.

Juni 2019 Tag "Öffentliche Einrichtungen / Verkehr / Finanzen"

Angesichts der Aufschlüsselung der Tags "Öffentliche Einrichtungen / Transport / Finanzen" in diesem Monat scheint Nomura Securities viele Filialen geschlossen zu haben.

Der Grund, warum nur Nomura Securities signifikant erscheint, ist, dass Daiwa Securities keine großen Filialen konsolidiert oder abgeschafft hat und andere mit Banken verbundene Wertpapiere gemeinsame Geschäfte mit Banken haben, sodass sie nicht als geschlossen anerkannt werden. Oder liegt es einfach daran, dass Nomura Securities mehr Filialen als andere Wertpapiere hat und es viele Konsolidierungen und Abschaffungen gibt?

"Karaoke" -Tag von Januar bis Mai 2019

Zu diesem Zeitpunkt waren viele Karaoke-Tags geschlossen, daher habe ich mir die Rohdaten angesehen. Nachfolgend finden Sie die Rohdaten von Januar bis Mai. Es scheint, dass jedes Karaoke-Unternehmen dazu neigt, mehrere Geschäfte am selben Tag zu schließen.

Dies scheint eine andere Firma als Karaoke zu sein. Zum Beispiel das gesamte unrentable Franchise-Management auf einmal schließen?