[PYTHON] Je veux connaître la population de chaque pays du monde.

Cible

Voici ce qu'il faut faire lorsque vous voulez un tableau avec l'année, la région, la sous-région, le pays, le code du pays et la population.

LocID,Location,Time,PopTotal,SubRegName,GeoRegName
392,Japan,2019,126860299,Eastern Asia,Asia

Conclusion

Vous pouvez télécharger les données requises sur https://population.un.org/wpp/.

• Téléchargez les données de population depuis Toutes les variantes (CSV, 21,35 Mo) WPP2019_TotalPopulationBySex.csv pouvez.
• Vous pouvez télécharger les données d'indicatif de pays à partir de Locations (XLSX, 131 KB) WPP2019_F01_LOCATIONS.XLSX.

Le contenu de WPP2019_TotalPopulationBySex.csv ressemble à ceci.

LocID,Location,VarID,Variant,Time,MidPeriod,PopMale,PopFemale,PopTotal,PopDensity
...
392,Japan,2,Medium,1950,1950.5,40602.499,42199.585,82802.084,227.132
392,Japan,2,Medium,1951,1951.5,41380.556,42935.709,84316.265,231.285

• LocID: code de pays avec numéro ISO 3166-1
• Emplacement: Le nom du pays ou de la région
• VarID, Variant: Prédit les valeurs futures avec différents taux de natalité, taux de mortalité et taux d'immigration. La norme est moyenne.
• Heure, mi-période: année
• PopMale, PopFemale, PopTotal: Sexe et population totale (1000)
• PopDensity: densité de population par 1 km ^ 2 (1000 personnes)

En plus du nom du pays, les éléments LocID et Location incluent également des noms de région tels que Asie et Asie de l'Est, de sorte qu'ils ne peuvent pas être utilisés tels quels. Reportez-vous à WPP2019_F01_LOCATIONS.XLSX pour vous aligner uniquement sur les pays, à l'exception des noms de région. Dans ce dossier

• Location
• DB
• NOTES

Il y a trois feuilles, dont la base de données est simplement lisible par machine. Par exemple, l'élément du Japon

Index, Location, Notes, LocID, ISO3_Code, LocType, LocTypeName, ParentID, WorldID, SubRegID, SubRegName, SDGSubRegID, SDGSubRegName, SDGRegID, SDGRegName, GeoRegID, GeoRegName
133, Japan, 392, JPN, 4, Country/Area, 906, 900, 906, Eastern Asia, 1832, Eastern and South-Eastern Asia, 935, Asia

est. Vous pouvez donc voir ce qui suit.

• L'élément LocType = 4 ou LocTypeName = Country / Area représente un pays.
• SubRegName représente la sous-région du pays. (Exemple: Asie de l'Est)
• GeoRegName représente la région du pays. (Exemple: Asie)

Créer des données avec Jupyter

(Lien vers le bloc-notes: https://colab.research.google.com/drive/160xZ5tAGKb1enC0LU2JYEOA6m3l3w1cn?usp=sharing)

Après avoir étudié jusqu'à ce point, le travail est enfin commencé. Commencez par charger WPP2019_TotalPopulationBySex.csv.

import pandas as pd

population_src = pd.read_csv("WPP2019_TotalPopulationBySex.csv")
population_src.head()

Extrayez uniquement les informations nécessaires.

population = population_src[population_src.Variant == "Medium"][["LocID", "Location", "Time", "PopTotal"]]
population["PopTotal"] = (population["PopTotal"] * 1000).astype(int)
population

Chargement de WPP2019_F01_LOCATIONS.XLSX.

locations_src = pd.read_excel('WPP2019_F01_LOCATIONS.XLSX', sheet_name="DB")
locations_src.head()

Extrayez uniquement les informations nécessaires.

location = locations_src[locations_src.LocType == 4][["LocID", "SubRegName", "GeoRegName"]]
location.head()

Combinez les données démographiques et nationales.

population_by_countries = population.merge(location)
population_by_countries.head()

Cherchons les données japonaises.

population_by_countries[(population_by_countries.Location == "Japan") & (population_by_countries.Time == 2019)]

Ça a l'air bien donc je vais le sauver.

population_by_countries.to_csv("population_by_countries.csv", index=False)
!head population_by_countries.csv

LocID,Location,Time,PopTotal,SubRegName,GeoRegName
4,Afghanistan,1950,7752116,Southern Asia,Asia
4,Afghanistan,1951,7840151,Southern Asia,Asia
4,Afghanistan,1952,7935996,Southern Asia,Asia
4,Afghanistan,1953,8039684,Southern Asia,Asia
4,Afghanistan,1954,8151316,Southern Asia,Asia
4,Afghanistan,1955,8270992,Southern Asia,Asia
4,Afghanistan,1956,8398873,Southern Asia,Asia
4,Afghanistan,1957,8535157,Southern Asia,Asia
4,Afghanistan,1958,8680097,Southern Asia,Asia

Histoire de difficultés bonus

• Au début, lorsque j'ai consulté la liste de classement de la population du pays sur la version japonaise de Wikipédia et de WolframAlpha, un site appelé http://data.un.org/ est apparu, alors j'ai pensé que je le tirerais d'ici.
• Le CSV dans les liens Population, surface et densité ne semble pas lisible par machine.
• Apparemment, il s'agit d'un extrait d'un livre appelé Annuaire statistique.
• Selon l'annexe I de l'Annuaire, le code de pays et le nom de pays de ces données sont appelés codes de pays normalisés des Nations Unies M 49. Une description de M49 peut être trouvée à https://unstats.un.org/unsd/methodology/m49/. Selon cela, il a la structure hiérarchique suivante.
  • Global Name: World (1)
  • Region Name: Asia (142)
  • Sub-region Name: Eastern Asia (30)
• Nom de la région intermédiaire: Aucun
  • Country or Area: Japan (392)
• M49 semble être la base de l'ISO 3166-1.
• Fichier de format lisible par machine M49 introuvable. Il existe un lien CSV, mais le nom du pays comporte une virgule et les colonnes ne sont pas alignées.
• Je me sentais mal à l'aise.
• À la recherche d'un autre exemple, datahub.io a utilisé des données de data.worldbank.org.
• Exemple de code à télécharger: * https://github.com/datasets/population/blob/master/scripts/process.py
• Requête: http://api.worldbank.org/countries/all/indicators/SP.POP.TOTL?format=csv
  • World Bank: http://data.worldbank.org/indicator/SP.POP.TOTL
• La recherche du mot population mondiale fera apparaître https://www.worldometer.info/world-population/.
• J'ai utilisé https://population.un.org/wpp/ comme matériel!
• Cela semble être plus sûr que les données à télécharger et à utiliser.

Donc, je vais enregistrer ici que j'ai passé beaucoup de temps juste à obtenir les données banales de la population mondiale.