[PYTHON] Demandez aux pandas de lire le fichier zip sur le Web

Téléchargez le zip localement-> décompressez-> chargez-le dans les pandas Un mémo pour vouloir le déposer dans le dataframe alors qu'il est encore en mémoire

Il y avait une telle URL sur le Web https://www.stats.govt.nz/assets/Uploads/Electronic-card-transactions/Electronic-card-transactions-February-2020/Download-data/electronic-card-transactions-february-2020-csv.zip

import requests
import zipfile
import io
import pandas as pd

# url
url = "https://www.stats.govt.nz/assets/Uploads/Electronic-card-transactions/Electronic-card-transactions-February-2020/Download-data/electronic-card-transactions-february-2020-csv.zip"

#Avoir
res = requests.get(url)
#Dégivrer
z = zipfile.ZipFile(io.BytesIO(res.content))
#Vérification
z.namelist() 
#Résultat de sortie
# ['electronic-card-transactions-Feb-2020-csv-tables.csv']

#Lire csv en binaire
with z.open(z.namelist()[0], 'r') as myfile:
    binaryCSV = myfile.read()

# DataFrame
df = pd.read_csv(io.BytesIO(binaryCSV), encoding='utf-8') #Encodage pour le japonais='sjis'

#Vérification
df.head()

image.png

Recommended Posts

Demandez aux pandas de lire le fichier zip sur le Web
Lire le fichier CSV: pandas
Décompressez le fichier zip Internet
Demandez à python de lire la sortie de la commande
Lisons le fichier RINEX avec Python ①
Demandez à Voiceroid de lire le TL de Twitter
Lisez le fichier ligne par ligne avec Python
Télécharger des fichiers sur le Web avec Python
Lisez le fichier ligne par ligne avec Python
Lisez le fichier en spécifiant le code de caractère.
Lisez le fichier avec python et supprimez les sauts de ligne [Notes sur la lecture du fichier]
Lire le fichier
[Python] Lire la ligne spécifiée dans le fichier
Publier le répertoire actuel sur le serveur Web
Obtenez la taille d'un fichier image sur le Web (Python3, aucune bibliothèque supplémentaire requise)
Environnement d'exécution sur le Web par "Project Jupyter"
[Python] Comment lire des fichiers Excel avec des pandas
Notez que les spécifications de Pandas loc ont changé.
Simulons le modèle neuronal d'Izhikevich sur le Web!
lecture de données pandas
Lisez le fichier csv avec le notebook jupyter et écrivez le graphique l'un sur l'autre
Jusqu'à la sortie de l'application Web avec Sakura VPS
Modèle de script python pour lire le contenu du fichier
Lisez le fichier csv et affichez-le dans le navigateur
Lisez le fichier xml en vous référant au didacticiel Python
Exécuter une commande sur le serveur Web et afficher le résultat
Décompressez un fichier ZIP de plus de 4 Go sous Linux.