[Introduction] Analyse de données satellitaires artificielles à l'aide de Python (environnement Google Colab)

Introduction-Qu'est-ce que les données satellitaires?

• Les données satellitaires artificielles font référence aux données acquises par ** "télédétection" ** à l'aide de satellites artificiels. Jusqu'à présent, les données satellitaires artificielles nécessitent des outils spécialisés et une infrastructure de traitement de données de grande capacité, de sorte que les organisations qui peuvent les utiliser se limitent aux institutions universitaires et à certaines institutions spécialisées, mais avec la récente diffusion des bibliothèques et des données open source En utilisant la plate-forme de traitement dans le cloud, ** un environnement externe où même les organisations générales peuvent facilement gérer des données satellitaires artificielles ** a été mis en place. «En utilisant des données satellitaires, vous pouvez vous attendre à analyser divers ** lieux, heures et états cibles ** qui n'ont pas pu être acquis jusqu'à présent avec le Big Data. --Par conséquent, dans cet article, ** Comment gérer les données **, sans utiliser ** d'outils spécialisés pour l'analyse des données satellites ** (en utilisant ** python **, qui est l'un des outils les plus connus) ), Je voudrais vous présenter comment l'utiliser ** gratuitement ** afin que chacun puisse se sentir libre de l'essayer. «De plus, cette fois, j'ai sélectionné un ensemble de données satellite facile à utiliser pour la mise en œuvre commerciale et sociale. J'espère que vous le lirez en imaginant une scène qui pourrait s'appliquer.

Données cibles

Dans cet article, nous allons vous présenter comment utiliser le jeu de données satellite en utilisant ** les données de lumière nocturne ** comme exemple. Image and Data processing by NOAA's National Geophysical Data Center. DMSP data collected by the US Air Force Weather Agency.

Qu'est-ce que NightTime Lights?

――L'une des données observées par les satellites artificiels est celle de la lumière nocturne. «En termes simples, ce sont les données qui ne cessent de détecter la quantité de lumière dans la ville la nuit.

• ** Les données relatives à la lumière nocturne sont corrélées à l'activité économique (PIB et consommation d'énergie) **, et des recherches empiriques sont en cours comme variable de substitution pour l'activité économique. ――En particulier, l'application aux pays où il est difficile de mesurer le volume d'activité économique dans chaque ville et de mesurer des indicateurs économiques précis est à l'étude.

Résumé des données

• Les données de lumière nocturne sont mesurées par plusieurs satellites artificiels, mais cette fois, nous utiliserons l'ensemble de données bien établi ** DMSP-OLS ** pour l'étude des données de lumière nocturne.
• spec --Gamme: Global --Résolution: maille de 1 km --Fréquence: annuelle --Période: 1992-2013
• Volume de données: ~ 300 Mo lorsqu'il est compressé, ~ 3 Go lorsqu'il est décompressé --Format: GeoTIFF
• Téléchargement des données: https://ngdc.noaa.gov/eog/dmsp/downloadV4composites.html --Remarques --Il existe différents types de données de lumière nocturne avec différents prétraitements, mais cette fois, nous avons utilisé ** «Moyennes des lumières visibles, stables et sans nuages» **, qui est souvent utilisée dans la recherche.

Image d'utilisation

--Au moment du téléchargement, les données satellitaires artificielles sont énormes en taille mondiale (globale) et en taille de région. ――Par conséquent, il est courant de découper et d'utiliser uniquement la zone nécessaire lors de l'analyse.

• Deux sont nécessaires pour les données d'origine téléchargées (données raster) et les données qui spécifient la plage de découpage (données vectorielles). (Les deux peuvent être téléchargés sur le WEB)

Opération de base en python

--Utilisez la bibliothèque suivante (cet article ne présentera que les fonctions minimales requises)

• Charger des données: rasterio
• Découpez la zone cible: les géopandas --Calcul numérique: numpy --Visualisation: matplotlib

Environnement d'analyse

• Google Colaboratory
• Reportez-vous à d'autres articles pour l'utilisation de base de Google Colab (méthode de démarrage, etc.)

Flux de travail

―― 1. Acquisition de données ―― 2. Lecture des données ―― 3. Extraction de la zone requise ―― 4. Visualisation / analyse des données - Visualiser / comparer les données de veilleuse pour chaque pays

1. Acquisition de données

-Peut être téléchargé depuis Téléchargement de données DMSP-OLS --Cliquez sur le lien actif pour démarrer le téléchargement ――Cependant, comme indiqué dans la note, le fichier compressé au moment du téléchargement est de ** 300 Mo **, mais une fois décompressé, il sera de ** 3 Go ** par fichier, travaillez donc sur un ordinateur portable général. Un peu dur ――Par conséquent, une série de traitements allant du téléchargement des données à la décompression est effectuée sur Google Colab.

• (Si vous avez un PC haut de gamme, vous pouvez le télécharger et le décompresser en un clic ...)

• Tout d'abord, installez les bibliothèques nécessaires sur Google Colab.

#Installation des bibliothèques requises
!pip install sh
! pip install rasterio
!pip install geopandas

• Ensuite, créez un dossier (répertoire) pour enregistrer l'ensemble de données téléchargé.

import os
from sh import wget, gunzip, mv
import tarfile

#Répertoire pour le stockage des données'data'Créer
if not os.path.exists('data'):
    os.mkdir('data')

--Utilisez la commande wget pour télécharger les données compressées

• Décompressez le fichier téléchargé
• Le fichier est double-compressé avec .gz et .zip, ce qui est déroutant, mais finalement le fichier tif est décompressé.

#Créez une URL à télécharger
target_data = 'F101992'
url = f'https://ngdc.noaa.gov/eog/data/web_data/v4composites/{target_data}.v4.tar'

#Télécharger les données
wget(url)

#Décompression du fichier compressé (extraire uniquement le fichier applicable)
with tarfile.open(f'/content/{target_data}.v4.tar') as tar:
    # stable_lights.avg_vis.tif.Obtenez le nom de fichier gz
    file = [tarinfo for tarinfo in tar.getmembers() if tarinfo.name.endswith("web.stable_lights.avg_vis.tif.gz")]
    #Décompressez le fichier cible (.gz）
    tar.extractall(path='/content/', members=[file[0]])
    #Décompressez le fichier cible (Décompressez)
    gunzip(f'/content/{target_data}.v4b_web.stable_lights.avg_vis.tif.gz')
    #Déplacer le fichier cible
    mv(f'/content/{target_data}.v4b_web.stable_lights.avg_vis.tif', '/content/data/')

2. Lire les données

• Lire le fichier tif décompressé --Facile à lire avec rasterio.open ('chemin d'accès au fichier')
• Vous pouvez obtenir les données au format numpy en lisant () l'objet lu.
• Si vous convertissez au format numpy, vous pouvez l'analyser et le visualiser comme vous le souhaitez.

import rasterio
import numpy as np
import matplotlib.pyplot as plt

with rasterio.open('/content/data/F101992.v4b_web.stable_lights.avg_vis.tif') as src:
    data = src.read()#Lire au format numpy

#Vérifiez la taille des données
data.shape

#Visualisation de données
plt.imshow(data[0])
plt.colorbar()

** Données mondiales sur l'éclairage nocturne pour 1992 **

――Cependant, étant donné qu'il est ici à l'état téléchargé (données globales), il est nécessaire de découper les données dans l'unité que vous souhaitez analyser.

3. Extraction de la zone requise

• Pour extraire la zone requise, vous avez besoin de données pour spécifier la plage de coupure. --Il existe différents formats pour les données qui spécifient la plage de découpe, mais ici nous utiliserons les données au format geojson (d'autres fichiers de forme sont également célèbres). -Vous pouvez télécharger les données frontalières pour chaque pays à partir du site ici.
• Vous pouvez également cliquer et télécharger ici, mais utilisez wget pour télécharger sur Google Colab.

#Télécharger le fichier vectoriel
wget('https://datahub.io/core/geo-countries/r/countries.geojson')

• Ensuite, chargez le fichier geojson obtenu
• En utilisant geopandas, vous pouvez gérer geojson comme pandas.dataframe ainsi que lire des fichiers. --Cela obtiendra les données de la ligne de démarcation de n'importe quelle zone (pays).

import geopandas as gpd

#Lire le fichier geojson
countries = gpd.read_file('/content/countries.geojson')

#Vérifiez le contenu
countries.head()

#Visualisation des données frontalières
countries.plot()

#Extraction des frontières japonaises (pandas normaux.opération dataframe)
countries.query('ADMIN == "Japan"')

―― Ensuite, appliquez les données acquises de la frontière japonaise à l'ensemble de données global et essayez d'extraire uniquement les données de la région du Japon. --Utilisez une méthode appelée rasterio.mask pour découper les parties nécessaires. --rasterio.mask.mask (lecture d'objet "tif file", colonne de géométrie de "border data", crop = True) --Cela génère deux données, out_image et out_transform, et les données découpées au format numpy sont stockées dans out_image (out_transform stocke les informations de conversion de coordonnées des données découpées, mais c'est un peu compliqué, alors ici Je vais l'omettre)

import rasterio.mask

with rasterio.open('/content/data/F101992.v4b_web.stable_lights.avg_vis.tif') as src:
    out_image, out_transform = rasterio.mask.mask(src, countries.query('ADMIN == "Japan"').geometry, crop=True)

• Visualisons l'image out_image découpée à la frontière du Japon

** Données de la lumière nocturne du Japon en 1992 ** (On peut voir que la quantité de lumière dans la zone métropolitaine est importante)

4. Visualisation / analyse des données

• Jusqu'à présent, nous avons présenté comment obtenir des données de veilleuse pour n'importe quel pays. «Je vais essayer de visualiser et d'analyser les données de veilleuse de certains pays en utilisant la méthode introduite jusqu'à présent.

#Fonctionner une série de processus
def load_ntl(target_data, area):
    #Télécharger uniquement lorsque les données n'existent pas
    if not os.path.exists(f'/content/data/{target_data}.v4b_web.stable_lights.avg_vis.tif'):
        url = f'https://ngdc.noaa.gov/eog/data/web_data/v4composites/{target_data}.v4.tar'
        #Télécharger les données
        wget(url)
        #Décompression du fichier compressé (extraire uniquement le fichier applicable)
        with tarfile.open(f'/content/{target_data}.v4.tar') as tar:
            # stable_lights.avg_vis.tif.Obtenez le nom de fichier gz
            file = [tarinfo for tarinfo in tar.getmembers() if tarinfo.name.endswith("web.stable_lights.avg_vis.tif.gz")]
            #Décompressez le fichier cible (.gz）
            tar.extractall(path='/content/', members=[file[0]])
            #Décompressez le fichier cible (Décompressez)
            gunzip(f'/content/{target_data}.v4b_web.stable_lights.avg_vis.tif.gz')
            #Déplacer le fichier cible
            mv(f'/content/{target_data}.v4b_web.stable_lights.avg_vis.tif', '/content/data/')
    #Extraire les données de la zone correspondante du fichier TIF
    with rasterio.open(f'/content/data/{target_data}.v4b_web.stable_lights.avg_vis.tif') as src:
        out_image, out_transform = rasterio.mask.mask(src, countries.query(f'ADMIN == "{area}"').geometry, crop=True)
    return out_image

#Fonction de visualisation
def show(data):
    plt.figure(figsize=(15, 5))
    plt.subplot(121)
    plt.imshow(data[0])
    plt.subplot(122)
    plt.hist(data.reshape(-1), bins=np.arange(1, 63, 1))

#Exemple d'utilisation (données acquises au Japon en 1992)
japan_1992 = load_ntl(target_data='F101992', area='Japan')

-Je vais essayer de visualiser la veilleuse de différents pays. (Vous pouvez vérifier les données de votre pays / année préféré en modifiant les variables de target_data et area)

#Obtention de données pour le Japon, la Chine, la Thaïlande et le Cambodge
japan_1992 = load_ntl(target_data='F101992', area='Japan')
china_1992 = load_ntl(target_data='F101992', area='China')
thailand_1992 = load_ntl(target_data='F101992', area='Thailand')
cambodia_1992 = load_ntl(target_data='F101992', area='Cambodia')

#Visualisation
show(japan_1992)
show(china_1992)
show(thailand_1992)
show(cambodia_1992 )

1992 Données de la veilleuse japonaise

1992 données de veilleuse chinoise

1992 données de veilleuse thaï

1992 Données de la veilleuse cambodgienne

«De cette façon, le Japon est généralement brillant à partir de 1992, la Chine a une grande superficie terrestre, il y a donc de grandes différences entre les villes, la Thaïlande est brillante avec des autoroutes et des villes locales centrées sur Bangkok, et le Cambodge est autre que la capitale. Vous pouvez voir la tendance de chaque pays comme l'obscurité. «Ici, je n'analyserai que les modèles ci-dessus, mais je pense qu'il serait intéressant de comparer d'autres groupes d'âge et pays. ――La zone de recherche utilise la somme des NTL (Night time Light) (quantité totale de lumière nocturne pour chaque zone) comme indice, et une analyse comparative est effectuée avec le PIB et l'indice de consommation d'énergie.

• De plus, vous pouvez analyser des unités plus petites que le pays (préfectures et municipalités) en téléchargeant d'autres fichiers geojson (fichiers de forme).

Supplément

«Nous avons introduit les données de la veilleuse jusqu'à présent, mais certains problèmes ont également été signalés dans les données de la veilleuse. ――Par exemple, comme le type de capteur est différent pour chaque institution fixe (F10, F12, etc. dans l'en-tête du nom de données), des biais de capteur légèrement différents se produisent. Par conséquent, lors de l'analyse de la quantité de lumière dans une tendance à long terme, un prétraitement est nécessaire pour éliminer ces biais (de nombreux articles de recherche ont été publiés dans le traitement appelé Calibration). De plus, ces données expriment la quantité de lumière nocturne sous la forme d'une valeur entière de 0 à 63, et bien qu'elles soient faciles à gérer, le phénomène de saturation (saturation) se produit aux points où la quantité de lumière est assez grande et la quantité de lumière peut être mesurée correctement. Il a également la propriété de ne pas être présent.

• De plus, cette fois, nous avons introduit un jeu de données satellite appelé DMSP-OLS, mais cette mission satellite a été achevée en 2013 et est maintenant le successeur de [NPP VII RS](https: //ncc.nesdis.noaa. Un satellite avec un capteur de plus haute précision appelé gov / VIIRS /) est en service. ―― Étant donné que les ensembles de données satellitaires ne sont pas polyvalents, il est nécessaire de se référer aux recherches précédentes lors de leur utilisation pour comprendre ces problèmes avant de les utiliser à des fins d'analyse.

finalement

Dans cet article, nous avons présenté comment gérer les ensembles de données satellite dans l'environnement Google Colab. Cette fois, nous avons introduit l'ensemble de données de veilleuse, mais divers ensembles de données satellites sont ouverts au public en tant que données ouvertes, et vous pouvez fondamentalement les gérer de la même manière que cette fois.

• De nouvelles mégadonnées sont possibles en combinant et en analysant les ** big data micro-side ** et les big data macro-side ** telles que les ensembles de données satellites qui sont collectés et accumulés par chaque entreprise. Je pense que le sexe va naître. «J'espère que les différents ensembles de données satellites diffusés sous forme de données ouvertes seront davantage utilisés au profit de la société.