[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: Laden von Daten

Introduction

Wir erstellen ein Python-Paket CovsirPhy, mit dem Sie COVID-19-Daten (z. B. die Anzahl der PCR-Positiven) einfach herunterladen und analysieren können.

Einführungsartikel:

• SIR model
• SIR-F model

Die englische Version des Dokuments lautet CovsirPhy: COVID-19-Analyse mit phasenabhängigen SIRs, Kaggle: COVID-19-Daten mit SIR-Modell.

** Dieses Mal werde ich erklären, wie die tatsächlichen Daten von COVID-19 heruntergeladen werden. ** ** ** Englische Ausgabe:

• Installation and dataset preparation
• Usage (quick version)

1. Ausführungsumgebung

CovsirPhy kann mit der folgenden Methode installiert werden! Bitte verwenden Sie Python 3.7 oder höher oder Google Colaboratory.

--Stabile Version: pip install covsirphy --upgrade

• Entwicklungsversion: pip install" git + https://github.com/lisphilar/covid19-sir.git#egg=covsirphy "

#Zur Datenanzeige
from pprint import pprint
# CovsirPhy
import covsirphy as cs
cs.__version__
# '2.8.2'

Die Tabellen und Grafiken in diesem Artikel wurden mit Daten vom 11.09.2020 erstellt.

2. Zusammenfassung

Sie können die Daten in den folgenden 4 Zeilen herunterladen.

data_loader = cs.DataLoader("input")
jhu_data = data_loader.jhu()
population_data = data_loader.population()
oxcgrt_data = data_loader.oxcgrt()

Die folgenden 3 Datentypen werden automatisch im Verzeichnis "Eingabe" (Ordner) von COVID-19 Data Hub [^ 1] gespeichert. Es macht auch eine gute Datenformung.

• Zeitreihendaten für jedes Land / jede Region in Bezug auf die Anzahl der Infizierten / Wiederhergestellten / Toten
• Bevölkerungsdaten jedes Landes / jeder Region
• Oxford Covid-19 Government Response Tracker (OxCGRT): Daten zur Quantifizierung des Status der von jedem Land ergriffenen Maßnahmen gegen COVID-19

Die Datenformatierung erfolgt auf der CovsirPhy-Seite, der Daten-Download selbst hängt jedoch vom offiziellen Paket "covid19dh" von COVID-19 Data Hub ab. Wir arbeiten auch mit Entwicklern [^ 2] zusammen, um Fehler zu vermeiden, aber wenn etwas passiert CovsirPhy-Problemseite Bitte kontaktieren Sie uns von!

3. DataLoader class Eine Benutzeroberfläche zum Herunterladen und Formatieren von Daten. Wenn Sie dem ersten Argument wie unten gezeigt "Eingabe" geben, werden alle Daten in das Verzeichnis "Eingabe" heruntergeladen.

data_loader = cs.DataLoader("input")

Der Verzeichnisname kann geändert werden. Der Standardwert des ersten Arguments ist "Eingabe" und kann weggelassen werden.

4. DataLoader.jhu() Dies ist eine Methode zum Herunterladen von "Zeitreihendaten jedes Landes / jeder Region in Bezug auf die Anzahl der Infizierten / Wiederhergestellten / Toten". Führen Sie den Download nur durch, wenn die neuesten Daten nicht heruntergeladen wurden. Wenn es bereits heruntergeladen wurde, werden nur die gespeicherten Daten gelesen und formatiert.

# verbose=True:Zeigen Sie die Datenquelle zum Zeitpunkt des Downloads an
jhu_data = data_loader.jhu(verbose=True)
type(jhu_data)
# -> <class 'covsirphy.cleaning.jhu_data.JHUData'>

Ursprünglich habe ich den Methodennamen "jhu" verwendet, weil ich die Daten der Johns Hopkins University direkt heruntergeladen habe.

Die Quelle der Daten [^ 3] kann von der Instanz von DataLoader bestätigt werden.

[^ 3]: COVID-19 Data Hub sind sekundäre Daten! Basierend auf den Daten der Johns Hopkins University usw. wird eine Vorverarbeitung wie die Verarbeitung fehlender Werte auf der Datenbankseite durchgeführt. Vielen Dank.

# COVID-19 Data Hub-Informationen-> (Ausgabeergebnis weggelassen)
print(jhu_data.citation)
#Liste der Datenquellen-> (Ausgabeergebnis weggelassen)
print(data_loader.covid19dh_citation)
#Heruntergeladene Daten anzeigen(pandas.DataFrame) -> (Ausgabeergebnis weggelassen)
jhu_data.raw.tail()

Mit "JHUData.cleaned ()" werden die Daten von Datum / Ländername / Regionsname / Gesamtzahl der bestätigten Fälle (Anzahl der PCR-Positiven) / aktuelle Anzahl infizierter Personen / Gesamtzahl der Todesfälle / Gesamtzahl der Wiederhersteller im Datenrahmenformat ("gespeichert) Sie können es mit pandas.DataFrame`) bekommen.

jhu_data.cleaned().tail()

Je nach Land werden sowohl der Wert für das gesamte Land als auch der Wert für jede Region registriert, sodass mit "jhu_data.cleaned (). Groupby (" Country "). Sum ()" nicht die richtigen aggregierten Daten für jedes Land abgerufen werden können. Aus diesem Grund haben wir eine Methode "JHUData.subset (Land, Provinz)" vorbereitet, mit der Daten für ein bestimmtes Land oder eine bestimmte Region abgerufen werden. Die Spalten für Länder- und Regionsnamen werden in der Ausgabe weggelassen.

#Wählen Sie nur den Ländernamen-> (Ausgabeergebnis weggelassen)
jhu_data.subset(country="Japan")
#Der ISO3-Code ist für den Ländernamen in Ordnung-> (Ausgabeergebnis weggelassen)
jhu_data.subset(country="JPN")
#Wählen Sie den lokalen Namen
jhu_data.subset(country="JPN", province="Tokyo").tail()

Hinweis: Dies sind die 4. Daten (Tokio / Land / Freiwillige inländische Organisation / COVID-19 Data Hub) und können von den von der Tokyo Metropolitan Government angekündigten Zahlen abweichen.

Wenn Sie ein Zeitreihendiagramm erstellen möchten, verwenden Sie bitte die Funktion cs.line_plot () (die Funktion ist möglicherweise veraltet und klassifiziert, daher ziehen wir dies in Betracht).

cs.line_plot(
    subset_df.set_index("Date").drop("Confirmed", axis=1),
    title="Japan/Tokyo: cases over time",
    filename=None, #Legen Sie den Dateinamen bei der Ausgabe in eine Datei fest
    y_integer=True, #Ändern Sie die y-Achse in einen ganzzahligen Wert. Verwenden Sie nicht x10 usw.
)

Zusätzlich haben wir eine Methode JHUData.total () vorbereitet, um den Gesamtwert der ganzen Welt zu erhalten. Kommt mit prozentualen Daten.

jhu_data.total().tail()

5. DataLoader.population() Dies ist eine Methode, um täglich "Bevölkerungsdaten jedes Landes / jeder Region" zu erfassen.

population_data = data_loader.population()
print(type(population_data))
# -> <class 'covsirphy.cleaning.population.PopulationData'>

Sie können ISO3-Code / Land / Region / Datum / Bevölkerungsdaten mit PopulationData.cleaned () abrufen. Verwenden Sie außerdem "PopulationData.value (Land, Provinz)", um den Wert jedes Landes / jeder Region abzurufen.

#Erhalten Sie formatierte Daten im Datenrahmenformat->Ausgabeergebnis weggelassen
population_data.cleaned().tail()
#Wählen Sie nur den Ländernamen-> int
population_data.value(country="Japan")
#Der ISO3-Code ist für den Ländernamen in Ordnung-> int
population_data.value(country="JPN")
#Wählen Sie den lokalen Namen-> int
population_data.value(country="JPN", province="Tokyo")

Der Bevölkerungswert kann mit der Methode "PopulationData.update (Wert, Land, Provinz)" aktualisiert werden.

#Vor dem Update-> 13942856
population_data.value(country="Japan", province="Tokyo")
#aktualisieren
# https://www.metro.tokyo.lg.jp/tosei/hodohappyo/press/2020/06/11/07.html
population_data.update(14_002_973, "Japan", province="Tokyo")
#Nach dem Update-> 14002973
population_data.value("Japan", province="Tokyo")

6. DataLoader.oxcgrt() "Oxford Covid-19 Government Response Tracker (OxCGRT): Quantifizierte Daten zum Status der Maßnahmen, die jedes Land täglich gegen COVID-19 ergriffen hat" Die Methode zu bekommen. Bitte überprüfen Sie den Link für weitere Informationen zu den Daten. Ich werde in einem anderen Artikel vorstellen, wie die Daten für die Analyse verwendet werden, aber ich untersuche sie noch.

oxcgrt_data = data_loader.oxcgrt()
print(type(oxcgrt_data))
# -> <class 'covsirphy.cleaning.oxcgrt.OxCGRTData'>

Sie können die Daten des ISO3-Codes / Ländernamens / Datums / jedes Index über "OxCGRTData.cleaned ()" abrufen. Regionale Daten sind nicht enthalten. Sie können keinen Regionsnamen für "OxCGRTData.subset (country)" angeben.

#Erhalten Sie formatierte Daten im Datenrahmenformat->Ausgabeergebnis weggelassen
oxcgrt_data.cleaned().tail()
#Es kann nur der Ländername ausgewählt werden
oxcgrt_data.subset(country="Japan")
#Der ISO3-Code ist für den Ländernamen in Ordnung
oxcgrt_data.subset(country="JPN")

7. Nachtrag

Dieses Mal erklärte ich, wie die einzelnen Daten mit CovsirPhy erfasst werden. Ich habe mein Bestes getan, um es einfach mit einem Funktionscode zu bekommen, also benutze es bitte! Wir freuen uns über Ihr Feedback.

Das nächste Mal werde ich einen Artikel über die Erklärung der Analysemethode unter Verwendung der tatsächlichen Daten schreiben. Neben den Anwendungsbeispielen möchte ich den technischen Hintergrund so gut wie möglich beschreiben. Vielen Dank!

Danke für deine harte Arbeit!