Kombinieren Sie mehrere CSV-Dateien mit Python zu einer CSV-Datei (vorausgesetzt, nur eine Kopfzeile)

Einführung

Dies ist mein erster Beitrag. Ich bin neu in Python. Ich möchte mehrere CSV-Dateien des gemeinsamen Formats, die von Geräten usw. entladen wurden, in einer Datei zusammenfassen und den Code vorstellen, den ich durch Recherche verschiedener Dinge erstellt habe.

Nachtrag 2020/04/06 Wirksam, wenn der Header eine Zeile enthält und alle Daten ordentlich sind. Beachten Sie, dass ein Fehler auftreten kann, wenn Zeilen ohne Daten vorhanden sind.

Umgebung

Code

Es wird davon ausgegangen, dass sich im Testordner am Ausführungsort viele CSVs mit demselben Format befinden.

import pandas as pd
import glob

#Ruft die Liste der durch den Pfad angegebenen Dateien im Listenformat ab.(Hier unterhalb der Testdatei eine Ebene darunter)
csv_files = glob.glob('test/*.csv')

#Liste der zu lesenden Dateien anzeigen
for a in csv_files:
    print(a)

#Bereiten Sie eine Liste vor, um den Inhalt der CSV-Datei hinzuzufügen
data_list = []

#Scannen Sie die Liste der zu lesenden Dateien
for file in csv_files:
    data_list.append(pd.read_csv(file))

#Kombinieren Sie alle Listen in Zeilenrichtung
#axis=0:In Reihenrichtung verbinden, sort
df = pd.concat(data_list, axis=0, sort=True)

df.to_csv("test/total1.csv",index=False)

Was machst du

Impressionen

Ich war besorgt über die Verarbeitung des Headers, aber wenn Sie Pandas verwenden, ist dies praktisch, da es Dinge mit derselben Spalte nur mit Daten verbindet, ohne sich darum zu kümmern, und ich konnte die Bewegung von Pandas verstehen.

Referenz

Nachtrag (2020/04/06)

Recommended Posts

Kombinieren Sie mehrere CSV-Dateien mit Python zu einer CSV-Datei (vorausgesetzt, nur eine Kopfzeile)
Kombinieren Sie mehrere Python-Dateien zu einer Python-Datei
[Python & Unix] Kombinieren Sie mehrere PDF-Dateien zu einer.
Kombinieren Sie mehrere mit Pandas geladene Excel-Dateien zu einer
Entfernen Sie Überschriften aus CSV-Dateien mit mehreren Formaten mit Python
Konsolidieren Sie eine große Anzahl von CSV-Dateien in Ordnern mit Python (Daten ohne Header).
Laden Sie die CSV-Datei mit Python herunter
Erstellen Sie eine andere Version der Python-Conda-Umgebung mit einer Befehlszeile
[Python] Mit Python in eine CSV-Datei schreiben
So importieren Sie CSV- und TSV-Dateien mit Python in SQLite
Ausgabe in eine CSV-Datei mit Python
Behandeln Sie Excel-CSV-Dateien mit Python
CSV-Datei mit Python lesen (CSV-Datei herunterladen und analysieren)
Kombinieren Sie Python-Funktionsargumente zu einer einzigen Variablen
Verschiedene Möglichkeiten, die letzte Zeile einer CSV-Datei in Python zu lesen
Zeichnen Sie ein Faltlinien- / Streudiagramm mit Python Matplotlib für die CSV-Datei (2 Spalten).
Lesen einer CSV-Datei mit Python 2/3
Python-Handspiel (einzeilige Notation von if)
Verwenden Sie mit pyenv mehrere Versionen der Python-Umgebung
[Python] Zusammenfassung der S3-Dateivorgänge mit boto3
Konvertieren Sie mehrere JPG-Dateien in eine PDF-Datei
Konvertieren Sie den Zeichencode der Datei mit Python3
Lesen Sie mit Python Zeile für Zeile aus der Datei
Konvertieren Sie JSON mit Python von Splunk in CSV
Konvertieren Sie mehrere Protodateien gleichzeitig mit Python
Lesen Sie WAV-Dateien nur mit dem Python-Standardpaket
Geschwindigkeitsbewertung der Ausgabe von CSV-Dateien in Python
Beispiel für das Lesen und Schreiben von CSV mit Python
Extrahieren Sie die Tabelle der Bilddateien mit OneDrive & Python
Python-Textlesung für mehrere Zeilen und eine Zeile
Ich habe versucht, eine CSV-Datei mit Python zu berühren
Python, das viele Excel zu einem Excel zusammenführt
So geben Sie die CSV eines mehrzeiligen Headers mit Pandas aus
So konvertieren Sie eine JSON-Datei mit Python Pandas in eine CSV-Datei
[Memo] Lade csv von s3 mit boto3 in Pandas