Consolider un grand nombre de fichiers CSV dans des dossiers avec python (données sans en-tête)

introduction

Préparation préalable

--Préparez les données sans en-tête de fichier CSV. --Recueillez les fichiers CSV que vous souhaitez intégrer dans un dossier. --Spécifiez le nom du fichier de sortie du résultat de l'intégration.

code


import csv, os
import pandas as pd

#Spécifiez le dossier contenant le fichier CSV(1)Référence
csv_folder_path = os.path.join(".","csv_folder", "headerRemoved")

#Obtenir une liste de noms de fichiers au format liste
csv_files_list = os.listdir(csv_folder_path)

#Créez une liste pour stocker les lignes dans tous les fichiers csv
csv_rows=[]

#Spécifiez le nom du fichier dans la liste des fichiers à lire et csv toutes les lignes_Stocker dans la liste des lignes.
for csv_filename in csv_files_list:
    csv_file_obj = open(os.path.join(csv_folder_path, csv_filename))
    reader_obj = csv.reader(csv_file_obj)
    for row in reader_obj:
        csv_rows.append(row)
csv_file_obj.close()

#Convertir la liste en type de dataframe.
df = pd.DataFrame(csv_rows)

#Spécifiez la plage de colonnes à exporter (0 à 44 uniquement)(3)Gamme d'exportation
df = df.iloc[:,range(0,44)]

#Convertir le dataframe en csv et enregistrer(2)Nom du fichier de sortie
df.to_csv(os.path.join(".","merged_file.csv"), index=False)

Commentaire

Impressions

df.iloc[:,[38,12]]

Recommended Posts

Consolider un grand nombre de fichiers CSV dans des dossiers avec python (données sans en-tête)
Obtenez une liste de fichiers dans un dossier avec python sans chemin
Organisez un grand nombre de fichiers dans des dossiers
[Homologie] Comptez le nombre de trous dans les données avec Python
[Python] Lire un fichier csv avec une grande taille de données à l'aide d'un générateur
Utilisez shutil pour supprimer tous les dossiers avec un petit nombre de fichiers
Traitement ETL pour un grand nombre de fichiers GTFS Realtime (édition Python)
Tracer CSV de données de séries temporelles avec une valeur unixtime en Python (matplotlib)
[Python] Récupérez les fichiers dans le dossier avec Python
Environnement enregistré pour l'analyse des données avec Python
Comment obtenir une liste de fichiers dans le même répertoire avec python
J'ai créé un programme en Python qui lit les données FX CSV et crée un grand nombre d'images de graphiques
Accélérez un grand nombre de requêtes simples dans MySQL
Traitement pleine largeur et demi-largeur des données CSV en Python
[Python] Générer de manière aléatoire un grand nombre de noms de personne en anglais
Obtenez une grande quantité de données Twitter de Starba avec python et essayez l'analyse de données Partie 1
Comment identifier l'élément avec le plus petit nombre de caractères dans une liste Python?
Combinez plusieurs fichiers csv en un seul fichier csv avec python (en supposant qu'une seule ligne d'en-tête)
Essayez de gratter les données COVID-19 Tokyo avec Python
Remarques sur la gestion de grandes quantités de données avec python + pandas
Obtenez le nombre d'éléments spécifiques dans la liste python
Un ensemble de fichiers de script qui font wordcloud avec Python3
[Python] Lecture facile des fichiers image du numéro de série avec OpenCV
[Python] Création d'un outil GUI qui traite automatiquement le CSV des données d'élévation de température dans Excel
Lambda + Python est efficace pour restreindre l'accès à un grand nombre de listes d'adresses IP
Reconnaissance des nombres dans les images avec Python
Translocation de fichiers CSV avec Python Partie 1
Une analyse simple des données de Bitcoin fournie par CoinMetrics en Python
Manipuler des fichiers et des dossiers en Python
Gestion des fichiers JSON en Python
J'ai créé beaucoup de fichiers pour la connexion RDP avec Python
Convertissez un grand nombre de fichiers PDF en fichiers texte à l'aide de pdfminer
Trier les gros fichiers texte en Python
Gérer les fichiers Excel CSV avec Python
Comment créer une grande quantité de données de test dans MySQL? ??
Lire des fichiers en parallèle avec Python
La loi des nombres en python
Obtenez le nombre de lecteurs d'articles sur Mendeley en Python
Sortie CSV des données d'impulsion avec Raspberry Pi (vérifier l'entrée analogique avec python)
Obtenez une liste des packages installés dans l'environnement actuel avec python
[Python] Comment mettre n'importe quel nombre d'entrées standard dans la liste
Vérifions la chaîne d'octets en mémoire du nombre flottant flottant en Python
Recevez une liste des résultats du traitement parallèle en Python avec starmap
Lecture de code de faker, une bibliothèque qui génère des données de test en Python
Obtenez des données supplémentaires vers LDAP avec python
Entrée / sortie de données en Python (CSV, JSON)
Arborescence de sortie des fichiers en Python
Afficher une liste d'alphabets en Python 3
Connectez un grand nombre de vidéos ensemble!
Recommandation d'Altair! Visualisation des données avec Python
[Python] Obtenir une liste de dossiers uniquement
Projet Euler # 17 "Nombre de caractères" en Python
[Python] Précautions lors de la recherche des valeurs maximum et minimum avec un tableau numpy avec un petit nombre d'éléments
Je voulais connaître le nombre de lignes dans plusieurs fichiers et j'ai essayé de l'obtenir avec une commande
One-liner qui crée un grand nombre de fichiers de test à la fois sous Linux
Résumé de la lecture des données numériques avec python [CSV, NetCDF, Fortran binary]
Opérations de base sur les blocs de données écrites par des débutants au cours d'une semaine d'apprentissage de Python
Alignez le nombre d'échantillons entre les classes de données pour l'apprentissage automatique avec Python