Combinez plusieurs fichiers csv en un seul fichier csv avec python (en supposant qu'une seule ligne d'en-tête)

introduction

Ceci est mon premier message posté. Je suis nouveau sur python. Je voudrais combiner plusieurs fichiers csv de format commun déchargés de l'équipement, etc. dans un seul fichier, et je vais présenter le code que j'ai créé en recherchant diverses choses.

2020/04/06 postscript Efficace lorsque l'en-tête est une ligne et que toutes les données sont nettes. Notez qu'une erreur peut se produire s'il y a des lignes sans données.

environnement

code

On suppose qu'il y a beaucoup de csv avec le même format dans le dossier de test à l'emplacement d'exécution.

import pandas as pd
import glob

#Récupère la liste des fichiers spécifiés par le chemin au format liste.(Ici, en dessous du fichier de test un niveau en dessous)
csv_files = glob.glob('test/*.csv')

#Afficher la liste des fichiers à lire
for a in csv_files:
    print(a)

#Préparez une liste pour ajouter le contenu du fichier csv
data_list = []

#Scannez la liste des fichiers à lire
for file in csv_files:
    data_list.append(pd.read_csv(file))

#Combinez toutes les listes dans le sens des lignes
#axis=0:Rejoindre dans le sens de la ligne, sort
df = pd.concat(data_list, axis=0, sort=True)

df.to_csv("test/total1.csv",index=False)

Que fais tu

Impressions

J'étais préoccupé par le traitement de l'en-tête, mais si vous utilisez des pandas, c'est pratique car il ne joindra les choses avec la même colonne qu'avec des données sans m'en soucier, et j'ai pu comprendre le mouvement des pandas.

référence

Post-scriptum (06/04/2020)

Recommended Posts

Combinez plusieurs fichiers csv en un seul fichier csv avec python (en supposant qu'une seule ligne d'en-tête)
Combinez plusieurs fichiers python en un seul fichier python
[Python & Unix] Combinez plusieurs fichiers PDF en un seul.
Combinez plusieurs fichiers Excel chargés à l'aide de pandas en un seul
Supprimer les en-têtes de fichiers CSV à plusieurs formats avec python
Consolider un grand nombre de fichiers CSV dans des dossiers avec python (données sans en-tête)
Télécharger le fichier csv avec python
Créer une autre version de l'environnement Python conda avec une seule ligne de commande
[Python] Ecrire dans un fichier csv avec Python
Comment importer des fichiers CSV et TSV dans SQLite avec Python
Sortie vers un fichier csv avec Python
Gérer les fichiers Excel CSV avec Python
Lire le fichier CSV avec python (Télécharger et analyser le fichier CSV)
Combinez les arguments de la fonction python en une seule variable
Différentes façons de lire la dernière ligne d'un fichier csv en Python
Dessinez une ligne de pliage / diagramme de dispersion avec python matplotlib pour fichier CSV (2 colonnes)
Comment lire un fichier CSV avec Python 2/3
Jeu à la main en Python (notation sur une ligne de if)
Utiliser plusieurs versions de l'environnement python avec pyenv
[Python] Résumé des opérations sur les fichiers S3 avec boto3
Convertissez plusieurs fichiers jpg en un seul fichier PDF
Convertir le code de caractère du fichier avec Python3
Lire ligne par ligne à partir d'un fichier avec Python
Convertir JSON en CSV avec Python de Splunk
Convertissez plusieurs fichiers proto à la fois avec python
Lire les fichiers wav avec uniquement le package standard Python
Évaluation de la vitesse de sortie du fichier CSV en Python
Exemple de lecture et d'écriture de CSV avec Python
Extraire le tableau des fichiers image avec OneDrive et Python
Lecture de texte Python pour plusieurs lignes et une ligne
J'ai essayé de toucher un fichier CSV avec Python
Python qui fusionne beaucoup d'excellence en un seul Excel
Comment générer un CSV d'en-tête multiligne avec des pandas
Comment convertir un fichier JSON en fichier CSV avec Python Pandas
[Memo] Chargez le csv de s3 dans les pandas avec boto3