[PYTHON] Beim Lesen einer CSV-Datei mit read_csv von Pandas wird die erste Spalte zum Index

Überblick

Wir stellen einen Fall vor, in dem ich vom Index in der ersten Spalte abhängig war, als ich versuchte, die vom internen System heruntergeladenen Daten mit Pandas zu verarbeiten

Phänomen

Problemdaten (natürlich nicht die tatsächlichen Daten)

name,population,area
Osaka,2691k,223,
Nara,353k,276,
Kyoto,1472k,827,
Koube,1542k,552,
Wakayama,355k,208,

Wenn Sie die folgenden Daten lesen, die auf den ersten Blick kein Problem zu haben scheinen, ist die erste Spalte (Name) der Index.

Screen Shot 2020-01-29 at 23.24.55.png

Ursache

Die Ursache ist, dass am Ende jedes Datensatzes ein "," steht, am Ende der Kopfzeile jedoch kein ",". Wenn Sie versuchen, "," am Ende der Kopfzeile zu setzen. Wie unten gezeigt, wird eine zusätzliche Spalte hinzugefügt, aber der Index wird automatisch berechnet.

Screen Shot 2020-01-29 at 23.32.12.png

Dieses Beispiel ist zum besseren Verständnis in einer CSV-Datei zusammengefasst. Es hat jedoch zusätzliche Zeit in Anspruch genommen, da tsv (tabulatorgetrennt) tatsächlich in der Arbeit verstopft war.

Lektionen und Eindrücke

Lassen Sie uns die Daten richtig sehen, ohne im Werkzeug zu ertrinken.

Trotzdem habe ich das Gefühl, dass die Chancen, Excel zu verwenden, abgenommen haben, seit ich Daten mit Pandas leicht bearbeiten konnte. Die Daten waren diesmal auch eine tsv-Datei von ungefähr 50 Millionen, aber sie konnten in wenigen Sekunden gelesen werden. (Excel hat gehangen ...)

Recommended Posts

Beim Lesen einer CSV-Datei mit read_csv von Pandas wird die erste Spalte zum Index
Formatieren Sie die CSV-Datei "Nationalfeiertag" des Kabinetts mit Pandas
[Python] Lesen der CSV-Datei (Methode read_csv des Pandas-Moduls)
Geben Sie das Ausgabeergebnis von sklearn.metrics.classification_report als CSV-Datei aus
[Python: UnicodeDecodeError] Eine der Fehlerlösungen beim Lesen von CSV
Eine Sammlung von Methoden, die beim Aggregieren von Daten mit Pandas verwendet werden
Verarbeiten Sie den Inhalt der Datei der Reihe nach mit einem Shell-Skript
pandas Ruft den Namen einer Spalte ab, die ein bestimmtes Zeichen enthält
Verwalten Sie die Überlappung, wenn Sie ein Streudiagramm mit einer großen Datenmenge zeichnen (Matplotlib, Pandas, Datashader).
Was tun, wenn ein Teil des Hintergrundbilds transparent wird, wenn Sie transparente Bilder mit Pillow kombinieren?
Die Idee, die Konfigurationsdatei mit einer Python-Datei anstelle von yaml zu füttern
Lesen und formatieren Sie CSV-Dateien gemischt mit Komma-Registerkarten mit Python-Pandas
Ich habe einen Fehler beim Abrufen der Hierarchie mit MultiIndex von Pandas gemacht
Fehler aufgrund von UnicodeDecodeError beim Lesen der CSV-Datei mit Python [Für Anfänger]
Überprüfen Sie die Existenz der Datei mit Python
[pandas] CSV-Datei Lese- und Anzeigemethode
Laden Sie csv mit Pandas und spielen Sie mit Index
Laden Sie Pandas DataFrame als CSV-Datei herunter
Verschiedene Möglichkeiten, die letzte Zeile einer CSV-Datei in Python zu lesen
[Einführung in Pandas] Lesen Sie eine CSV-Datei ohne Spaltennamen und geben Sie ihr einen Spaltennamen
Die Geschichte der Erstellung einer Webanwendung, die umfangreiche Lesungen mit Django aufzeichnet
Zeichnen Sie ein Faltlinien- / Streudiagramm mit Python Matplotlib für die CSV-Datei (2 Spalten).
Ein Memorandum of Method, das häufig bei der Analyse von Daten mit Pandas verwendet wird (für Anfänger)
[Einführung in Python] So erhalten Sie den Datenindex mit der for-Anweisung
Lesen einer CSV-Datei mit Python 2/3
Mit gTTS auf Japanisch sprechen (Textdatei lesen)
Ich habe versucht, eine CSV-Datei mit Python zu lesen
Speichern Sie das Objekt in einer Datei mit pickle
Konvertieren Sie den Zeichencode der Datei mit Python3
Beispiel für das Lesen und Schreiben von CSV mit Python
Wenn eine Datei im freigegebenen Ordner von Raspberry Pi abgelegt wird, wird der Vorgang ausgeführt.
[Ansible] Beispiel für ein Playbook, das der ersten Zeile der Datei eine Zeichenkette hinzufügt
[Shell Art] Nur wenn es ein Vielfaches von 3 ist und eine Zahl mit 3 dumm wird
Ein Hinweis auf Missverständnisse beim Versuch, das gesamte selbst erstellte Modul mit Python3 zu laden
Lesen Sie die CSV-Datei mit dem Jupiter-Notizbuch und schreiben Sie die Grafik übereinander
[Achtung] Beachten Sie beim Erstellen eines Binärbilds (1 Bit / Pixel) das Dateiformat!
Beim Schreiben in eine CSV-Datei mit Python habe ich einen kleinen Fehler gemacht und den Liefertermin nicht eingehalten
Geben Sie den Dateinamen an, wenn Sie eine an CSV angehängte E-Mail senden
Ich habe versucht, eine CSV-Datei mit Python zu berühren
Seien Sie vorsichtig, wenn Sie die Eigenvektoren einer Matrix unterscheiden
Seien Sie vorsichtig beim Lesen von Daten mit Pandas (geben Sie dtype an)
Notieren Sie sich die Liste der grundlegenden Verwendungszwecke von Pandas
So geben Sie die CSV eines mehrzeiligen Headers mit Pandas aus
So konvertieren Sie eine JSON-Datei mit Python Pandas in eine CSV-Datei
Erstellen Sie mit Python Pandas Py Installer ein CSV-Formatierungswerkzeug
[Python] Ein Memo zum vertikalen Schreiben von CSV mit Pandas
Aufzeichnung der ersten Herausforderung des maschinellen Lernens mit Keras
Geben Sie nach dem Lesen einer Excel-Datei mit pandas read_excel ein
Berechnen Sie das Produkt von Matrizen mit einem Zeichenausdruck?
[Memo] Lade csv von s3 mit boto3 in Pandas
Der Wert von meta beim Angeben einer Funktion ohne Rückgabewert mit Dask dataframe gilt
Beim Lesen eines Bildes mit SimpleITK tritt ein Problem auf, wenn sich Japanisch im Pfad befindet
Über den Inhalt von wscript beim Erstellen einer solchen D-Sprachumgebung mit Waf
[Python] Extrahiert Datenrahmen von Pandas, die einer bestimmten Spalte nicht mit anderen Datenrahmen entsprechen