[PYTHON] Ich möchte ○○ mit Pandas machen

Änderungsprotokoll

• 2020/07/08
  Das Datenanzeigeformat wurde von CSV in Markdown-Tabelle geändert. Ich habe den CSV zum Markdown Table Generator (https://donatstudios.com/CsvToMarkdownTable) verwendet, um von CSV zu Markdown Table zu konvertieren.

Pandas fragt oft: "Was soll ich tun, wenn ich das tun möchte?", Also werde ich sie nach Gebrauch zusammenfassen.

Annahme

In diesem Beispielcode Titanic-Überlebensliste (train.csv) von Kaggle Lesen und verwenden Sie mit pandas.read_csv ().

Titanic: Machine Learning from Disaster | Kaggle

import pandas as pd
df = pd.read_csv('train.csv')

pandas.read_csv — pandas 1.0.5 documentation

Ich möchte statistische Informationen ausgeben

df.describe()

#Grenzen Sie die Ausgabespalten ein
df['Age'].describe()

count    714.000000
mean      29.699118
std       14.526497
min        0.420000
25%       20.125000
50%       28.000000
75%       38.000000
max       80.000000
Name: Age, dtype: float64

pandas.DataFrame.describe — pandas 1.0.5 documentation

Ich möchte die Anzahl der Daten überprüfen

df['Age'].count()

714

Sie können die Anzahl der Zeilen / Spalten überprüfen, die andere Werte als "Keine", "NaN" und "NaT" enthalten.

• pandas.DataFrame.count — pandas 1.0.5 documentation

Ich möchte die Daten eingrenzen

# 20 < Age <40 Zeilen extrahieren
df[(20 < df['Age']) & (df['Age'] < 40)].head()

Wenn Sie durch mehrere UND / ODER-Bedingungen eingrenzen möchten, geben Sie die Bedingungen an, indem Sie sie in "()" einschließen, z. B. "df [(A) & (B)]".

• Python Pandas: Boolean indexing on multiple columns - Stack Overflow

Ich möchte kategorisierte Daten in numerische Werte konvertieren

# Embarked(C, Q, S)Numerischer Wert(1, 2, 3)Umstellung auf
df['Embarked'] = df['Embarked'].map({'C': 1, 'Q': 2, 'S': 3})

pandas.Series.map — pandas 1.0.4 documentation

Ich möchte den Spaltennamen ändern

# Sex(female, male)Numerischer Wert(0, 1)Konvertieren in und Spaltenname(Sex)Zu männlich
df['Sex'] = df['Sex'].map({'female': 0, 'male': 1})
df = df.rename(columns={'Sex': 'Male'})

pandas.DataFrame.rename — pandas 1.0.4 documentation

Wenn Sie ein Array mit einer Liste von Spaltennamen übergeben, können Sie alle Spaltennamen gleichzeitig ändern.

pd.DataFrame({'c': [1, 2], 'd': [10, 20]}).columns = ['a', 'b']

python - Renaming columns in pandas - Stack Overflow

Ich möchte die Anzahl der fehlenden Werte für jede Spalte überprüfen

df.isnull().sum()

PassengerId      0
Survived         0
Pclass           0
Name             0
Male             0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64

pandas.isnull — pandas 1.0.4 documentation pandas.DataFrame.sum — pandas 1.0.4 documentation

Ich möchte fehlende Werte ausschließen

#Schließen Sie alle Zeilen mit fehlenden Werten aus
df_dn = df.dropna()
df_dn.count()

PassengerId    183
Survived       183
Pclass         183
Name           183
Male           183
Age            183
SibSp          183
Parch          183
Ticket         183
Fare           183
Cabin          183
Embarked       183
dtype: int64

pandas.DataFrame.dropna — pandas 1.0.5 documentation

Ich möchte die angegebene Spalte abrufen

#Spalten "Überleben" und "Alter" extrahieren
df[['Survived', 'Age']]

Indexing and selecting data — pandas 1.0.4 documentation Abrufen / Ändern des Werts einer Position mit Pandas unter, iat, loc, iloc | note.nkmk.me

Ich möchte die angegebene Spalte ausschließen

df_dn = df.drop('Cabin', axis='columns')

pandas.DataFrame.dropna — pandas 1.0.5 documentation

Ich möchte eine Funktion auf einen Zeilen- / Spaltenwert anwenden und eine neue Zeile / Spalte erstellen

import re

#Funktion zum Extrahieren des Titels
def getTitle(row):
    name = row['Name']
    p = re.compile('.*\ (.*)\.\ .*')
    surname = p.search(name)
    return surname.group(1)

df['Title'] = df.apply(getTitle, axis='columns')

pandas.DataFrame.apply — pandas 1.0.5 documentation

Ich möchte den Durchschnitt für jede Kategorie berechnen

#Finden Sie das Durchschnittsalter für jeden Titel
df.groupby('Title').mean()['Age']

Title
Capt        70.000000
Col         58.000000
Countess    33.000000
Don         40.000000
Dr          42.000000
Jonkheer    38.000000
L           54.000000
Lady        48.000000
Major       48.500000
Master       4.574167
Miss        21.773973
Mlle        24.000000
Mme         24.000000
Mr          32.368090
Mrs         35.728972
Ms          28.000000
Rev         43.166667
Sir         49.000000
Name: Age, dtype: float64

Sie können die Anzahl der Datenelemente für jeden Titel auch mithilfe von "df.groupby (" Titel "). Count ()" ermitteln. Verwendung von Pandas groupby --Qiita

Ich möchte Zeilen nach Wert sortieren

df.sort_values(by='Age')

pandas.DataFrame.sort_values — pandas 1.0.5 documentation

Normalerweise bleibt der DaraFrame, der sort_values () ausgeführt hat, unverändert, und die Rückgabewerte werden in einem sortierten Zustand erhalten. Wenn ascending = False angegeben ist, werden die angegebenen Spalten in absteigender Reihenfolge sortiert. Wenn "inplace = True" angegeben ist, wird der DataFrame, der "sort_values ()" ausgeführt hat, sortiert und der Rückgabewert lautet "None".

Ich möchte den eindeutigen Wert in einer Spalte herausfinden

df['Survived'].unique()

array([0, 1], dtype=int64)

pandas.unique — pandas 1.0.5 documentation

Ich möchte eine Zeile mit einer bestimmten Zeichenfolge abrufen

df[df['Name'].str.contains('Thomas')]

pandas.Series.str.contains — pandas 1.0.5 documentation python - How to filter rows containing a string pattern from a Pandas dataframe - Stack Overflow

Verwenden Sie den Operator ~, wenn Sie * Werte abrufen möchten, die * keine bestimmte Zeichenfolge enthalten.

df[~df['Name'].str.contains('Thomas')]

python - Search for "does-not-contain" on a DataFrame in pandas - Stack Overflow

Ich möchte Farbe hinzufügen, wenn ein Datenrahmen angezeigt wird

#Wert"Mr"Machen Sie die Hintergrundfarbe der Spalte gelb
df.style.apply(lambda x: ['background-color: yellow' if v == 'Mr' else '' for v in x])

Beim Öffnen in Jupyter Notebook wird die entsprechende Spalte mit einem farbigen Hintergrund angezeigt. Beachten Sie, dass beim Öffnen des Jupyter-Notizbuchs auf GitHub die Hintergrundfarbe nicht hinzugefügt wird.

pandas.io.formats.style.Styler.apply — pandas 1.0.5 documentation python - Pandas style function to highlight specific columns - Stack Overflow

Ich möchte im CSV-Format ausgeben

df.to_csv('output.csv', index=False)

Wenn Sie den Index (Zeilennummer) nicht einschließen möchten, geben Sie "index = False" an. pandas.DataFrame.to_csv — pandas 1.0.5 documentation

Wenn Sie keinen Zeilenumbruch in die letzte Zeile der Datei einfügen möchten, übergeben Sie line_terminator =" " nur in der letzten Zeile python - How to stop writing a blank line at the end of csv file - pandas - Stack Overflow