[PYTHON] Laden Sie csv mit Pandas und spielen Sie mit Index

Einführung

DataFrame von Pandas ist gut für den Umgang mit strukturierten Daten! (Ich habe es tatsächlich in einem datenwissenschaftlichen Buch gelesen, das ich in einem Buchladen durchgesehen habe). Ich möchte ein Memo als Memorandum für Super-Anfänger hinterlassen.

Umgebung

Python3.6.10 pandas-1.0.1 Jupyter notebook

Zuerst installieren

Es gab nichts Schwieriges ...

pip install pandas

CSV-Datei lesen

Da die Daten, die ich dieses Mal verarbeiten möchte, im CSV-Format vorliegen, lese ich die CSV-Datei. Nach ein wenig Recherche fand ich heraus, dass Pandas zwei Datenstrukturen hat, Series und DataFrame, und es scheint, dass Series eindimensionalen Daten und DataFrame zweidimensionalen Daten entspricht (da Series und DataFrame nicht gut verstanden werden). Ich wünschte, ich könnte wieder studieren und einen weiteren Artikel schreiben.

Vorerst möchte ich die CSV-Daten als DataFrame lesen.

python


import pandas as pd
pd.read_csv('Datenweg',header = None)

Ich habe read_csv () verwendet, weil ich eine CSV-Datei mit einem Komma-Trennzeichen lesen wollte. Wenn das Trennzeichen eine Registerkarte (\ t) ist, kann stattdessen read_table () verwendet werden.

Da die zu lesende CSV-Datei keine Überschriftenzeile enthält, wird für den Header "Keine" angegeben.

Die tatsächlich gelesenen Daten wurden auf dem Jupiter angezeigt (siehe Abbildung unten ↓) スクリーンショット 2020-02-27 13.34.31.png

Datenformung

Formatieren Sie die gelesenen Daten wie folgt ・ Die 0. Spalte ist nicht erforderlich. Löschen Sie sie daher. ・ Legen Sie die erste Spalte als Index fest (Überschriftenspalte)

34.31.png

Spalte löschen

Schneiden Sie nur die 0. Spalte in der Scheibe ab.

In Series und DataFrame können Sie eine Zeichenfolge im Index oder einen (beliebigen) numerischen Wert angeben. Um Verwirrung bei der Angabe eines numerischen Werts für einen Index zu vermeiden, greifen Sie insbesondere mit Indexattributen wie iloc und loc auf die Daten zu. スクリーンショット 2020-02-27 14.31.55.png

Dieses Mal (vorerst) stimmt der DataFrame-Index sowohl in Zeilen als auch in Spalten mit dem Python-Index überein, sodass Sie mit iloc oder loc dasselbe Ergebnis erzielen können. Die 0. Zeile der Daten wurde wie folgt abgeschnitten (nur die 1. und nachfolgende Zeile wurden extrahiert)

python


#Laden Sie csv
df = pd.read_csv('Data/test231.csv',header = None)
#Scheibe
df.iloc[:,1:]

Tatsächliche Ausgabe ↓ Screenshot 2020-02-27 14.36.46.png

Im Vergleich zum vorherigen Bild hat sich die Anzahl der Spalten von 170 auf 169 geändert, und es kann bestätigt werden, dass nur die erste Spalte reduziert wird.

Machen Sie die erste Spalte zu einem Index

In pandas DataFrame werden Zeilenüberschriften anscheinend als Indizes und Spaltenüberschriften als Spalten bezeichnet. 6.46.png

Auf diese Weise kann die Spalte "1" in der obigen Abbildung für den Index angegeben werden.

python



#Scheibe
sliced_df = df.iloc[:,1:]
#Name ist"1"Geben Sie die Spalte von an
sliced_df.set_index(1)

Ich konnte wie folgt ausführen

スクリーンショット 2020-02-27 15.26.28.png

abschließend

Als nächstes möchte ich einen Artikel als Memorandum of Record erstellen, in dem der Name der Spalte geändert und diese Tabelle als hierarchische Daten verarbeitet wird.

Recommended Posts

Laden Sie csv mit Pandas und spielen Sie mit Index
Laden Sie csv mit doppelten Spalten in Pandas
Lesen Sie CSV und analysieren Sie mit Pandas und Seaborn
Pandas Index und Reindex
Lesen Sie CSV mit Python-Pandas
Laden Sie verschachtelten Json mit Pandas
[Memo] Lade csv von s3 mit boto3 in Pandas
Lesen und Schreiben von CSV mit Python
Fraktal zum Erstellen und Spielen mit Python
Spielen Sie mit PDBBind von MoleculeNet und RDKitGridFeaturizer von DeepChem
[pandas] CSV-Datei Lese- und Anzeigemethode
CSV gruppieren und Mindestwert erhalten (Pandas)
Spiel mit dem Propheten
Laden Sie das Kaffeemodell mit Chainer und klassifizieren Sie die Bilder
Lesen Sie Python-CSV-Daten mit Pandas ⇒ Graph mit Matplotlib
Spiele mit PyTorch
Spielen Sie mit 2016-Python
Verstehe Gitterpunkte und spiele mit Konturlinien.
Implementieren Sie "Data Visualization Design # 3" mit Pandas und Matplotlib
Installieren Sie Pip und Pandas mit Ubuntu oder VScode
Analysieren Sie Apache-Zugriffsprotokolle mit Pandas und Matplotlib
Visualisieren Sie Daten interaktiv mit TreasureData, Pandas und Jupyter.
Python-Handspiel (Interoperation zwischen CSV und PostgreSQL)
Spielen Sie mit CentOS 8
Beispiel für das Lesen und Schreiben von CSV mit Python
Spiel mit Fathom
[Python] Japanische CSV mit Pandas ohne verstümmelte Zeichen lesen (weitere auf Japanisch geschriebene Spalten extrahieren)
Beim Lesen einer CSV-Datei mit read_csv von Pandas wird die erste Spalte zum Index
Prozedur zum Laden von MNIST mit Python und zur Ausgabe an png
So extrahieren Sie Nullwerte und Nicht-Nullwerte mit Pandas
So geben Sie die CSV eines mehrzeiligen Headers mit Pandas aus
So konvertieren Sie eine JSON-Datei mit Python Pandas in eine CSV-Datei
So schleifen und spielen Sie ein GIF-Video mit openCV ab
[Python] Ein Memo zum vertikalen Schreiben von CSV mit Pandas
[Linux] [Python] [Pandas] Laden Sie die Microsoft Access-Datenbank (* .mdb) mit Pandas
Verarbeiten Sie CSV-Daten mit Python (Zählverarbeitung mit Pandas)
Extrahieren Sie den Maximalwert mit Pandas und ändern Sie diesen Wert
[How to!] Lerne und spiele Super Mario mit Tensorflow !!
Mit Pandas schnell visualisieren
Bootstrap-Sampling mit Pandas
Datensätze mit Pandas verarbeiten (2)
Zusammenführen von Datensätzen mit Pandas
Installation von Jupyter und Pandas
Pandas lernen mit Chemoinfomatik
Spiel mit Othello (Reversi)
Lesen Sie die CSV-Datei: pandas
Datenvisualisierung mit Pandas
Datenmanipulation mit Pandas!
Daten mit Pandas mischen
Pandas Mittelwertbildung und Auflistung
Mit und ohne WSGI
LADEN SIE DATEN mit PyMysql
Erstellen Sie eine neue CSV mit Pandas basierend auf der lokalen CSV
[Python] Wie man mit Klassenvariablen mit Dekorator und Metaklasse spielt
[Lass uns mit Python spielen] Bildverarbeitung zu Monochrom und Punkten
BASIC und C sowie Assembler-Geschwindigkeitsvergleich und -optimierung spielen mit IchigoJam
Spielen Sie mit Mastodons Archiv in Python 2 Count Antworten und Favoriten
So erstellen Sie einen Datenrahmen und spielen mit Elementen mit Pandas
Spielen Sie mit dem Passwortmechanismus von GitHub Webhook und Python