[Python] Zusammenfassung der Verwendung von Pandas

Datenverarbeitungsnotiz von Pandas Die Informationsseite über Pandas ist ziemlich umfangreich, daher handelt es sich hauptsächlich um eine Zusammenfassung der Links.

Ausführungsumgebung

Ich denke, es ist besser, Jupyter (IPython) Notebook als Ausführungsumgebung zu verwenden.

Installieren Sie Python3 und Jupyter Notebook (ehemals Ipython Notebook) unter Windows - Qiita

Pandas installieren und importieren

$ pip install pandas

import pandas as pd

Erstellen eines DataFrame

Neue Datenerstellung

Sie können einen DataFrame mit pd.DataFrame erstellen. Beachten Sie, dass die Anzahl der Daten für jede Spalte übereinstimmen muss.

Erstellen eines DataFrame

df = pd.DataFrame({
        'A' : [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5, 6, 6, 7, 8, 9, 10],
        'B' : [1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 6, 7, 7, 8, 8, 8, 8, 8, 8]
    })

Lesen Sie vorhandene Daten

Öffnen Sie CSV, TSV

Daten lesen und DataFrame erstellen

# CSV
csv_data  = pd.read_csv('./path/to/hoge.csv')

# TSV
tsv_data  = pd.read_csv('./path/to/hoge.csv', delimiter='\t')

Lesen und Schreiben von CSV / TsV-Dateien mit pandas | mwSoft Lesen Sie csv / tsv mit nicht konstanter Spaltengröße mit Pandas: mwSoft-Blog Python Coding Memorandum-Part 3- (Mastering pandas read_csv) - Reise zur Selbstbetrachtung

Daten extrahieren

Python Pandas Datenauswahlprozess etwas detaillierter <Teil 1> --StatsFragments Python Pandas Datenauswahlprozess etwas detaillierter <Teil 2> --StatsFragments Python Pandas Datenauswahlprozess etwas detaillierter <Teil 2> --StatsFragments Siehe Datenrahmen nach Bedingung in Pandas - Qiita

Säulenextraktion

Angabe der Extraktionsspalte aus dem Labelnamen

data = data[['column1', 'column2']]

Zeilenextraktion

Extrahieren Sie durch Angabe der Bedingungen

data = data[data.column1 == 'hoge']

Extraktion durch Suche mit regulären Ausdrücken

data = data[data.column1.str.contains(regex)]

Python-Pandas: Suche nach DataFrame mit regulären Ausdrücken --Qiita <Python, Pandas> Datenrahmen-Zeichenfolgensuche - Nekoyukis Memo

Entfernung fehlender Werte (NaN)

Entfernen Sie Zeilen mit einem der fehlenden Werte

df = df.dropna()

Element angeben

df = df.dropna(subset=['Gegenstand 1', 'Punkt 2'])

DataFrame Join

Python-Pandas-Diagramm Datenverkettung / Join-Verarbeitung --StatsFragments Merge, join, and concatenate — pandas 0.18.1 documentation

DataFrame-Verarbeitung

Daten sortieren

Nach Nummer sortieren

Daten sortieren

#Bei einem Typ
df = df.sort_values(['Datentyp'])

# 1 ->Sortieren Sie in aufsteigender Reihenfolge von 2
df = df.sort_values(['Datentyp 1', 'Datentyp 2'])

pandas.DataFrame.sort_values — pandas 0.18.1 documentation Nach Pandas-Qiita sortieren

Zeile / Spalte umbenennen

df.rename(columns={'A': 'a'}, index={'ONE': 'one'}, inplace=True)

pandas.DataFrame.rename — pandas 0.18.1 documentation Ändern des Zeilennamens / Spaltennamens von Pandas DataFrame | nkmk-Protokoll

Index in aktueller Datenreihenfolge neu zuweisen

df = df.reset_index(drop=True)

python - How to reset index in a pandas data frame? - Stack Overflow pandas.DataFrame.reset_index — pandas 0.18.1 documentation

Datentyp ändern

Als Gleitkommatyp behandeln

df = df.astype(float)

Inversion der Matrix

Inversion der Matrix

df = df.T

Konvertierung von DataFrame in ein anderes Format

Konvertierung von DataFrame in List

df.values.tolist()

python - Pandas DataFrame to list - Stack Overflow

Export in CSV, TSV

# CSV
data.to_csv('./path/to/output.csv')

# TSV
data.to_csv('./path/to/output.csv', sep='\t')

Lesen und Schreiben von CSV / TsV-Dateien mit pandas | mwSoft

pandas <=> Zusammenarbeit zwischen DBs

Microsoft Access (mdb) [Linux] [Python] [Pandas] Microsoft Access-Datenbank (* .mdb) mit Pandas lesen - Qiita

Datenplot / Grafikausgabe

Grundlegende Spezifikationen von "Handlung" in Pandas

Pandas wickeln matplotlib dünn ein. Bis zu einem bestimmten Diagramm kann mit "Plot" von Pandas ausgegeben werden. Die Grundlagen zur Ausgabe von Diagrammen in Pandas finden Sie im Folgenden.

Visualization — pandas 0.18.1 documentation

Manipulieren Sie Pandas "Handlung" ein wenig mehr

Beherrschen der Python-Pandas-Plotfunktion-StatsFragments Wenn Sie die Plot-Funktion von Pandas in Python verwenden, ist sie von der Datenverarbeitung bis zur Diagrammerstellung sehr nahtlos - Qiita

Fehlende / Ausreißer / diskrete Verarbeitung

Python pandas Missing / Outlier / Discrete Handling-StatsFragments

Über die Leistung

Drei TIPPS zur Aufrechterhaltung der Leistung von Python-Pandas - StatsFragments

Bücher

Kommentarbuch des Autors von Pandas O'Reilly Japan - Einführung in die Datenanalyse mit Python

Referenz (Über Pandas)

• Grundlegende Analyse mit Pandas - Platin Data Blog von BrainPad
• Zusammenfassung der häufig verwendeten Grammatik in Pandas-Qiita

Referenz (zur Datenverarbeitung)

• Was sind geordnete Daten | Farblose grüne Ideen