[PYTHON] Feature-Generierung mit Pandas gruppieren nach

Ich möchte eine Feature-Menge mit pandas group by erstellen

Wenn Sie einem Feature Statistiken für jedes Spaltenattribut hinzufügen möchten, müssen Sie in vielen Fällen kein Diktat mit Sammlungen erstellen oder nach Gruppen gruppieren und diese zusammenführen. Es ist einfach, wenn Sie nur Statistiken veröffentlichen, aber es fiel mir schwer, pandas.DataFrame.groupby zu verwenden, als ich es als Feature zum Datensatz hinzufügen wollte, sodass ich es als Memo belassen werde.

Was ich sagen möchte ist, dass groupby.transform praktisch ist.

Beispieldaten

import pandas as pd
df = pd.DataFrame({
     "site":["A","A","A","B","B","C"],
     "dat":[15,30,30,30,10,50]
})

Grundlegende Statistiken wie Durchschnitt, Maximum und Minimum für jedes Attribut

Features können direkt generiert werden, indem das Transformationsargument in np.max oder np.min geändert wird. Gleiches gilt für Median, Var usw. Der Code zur Berechnung des Durchschnittswerts für jede Site ist unten dargestellt.

import numpy as np
df["site_mean"] = df.groupby("site").transform(np.mean)

Count Encoding Die Methode, die Anzahl der Auftritte von (Kategorie-) Features einer bestimmten Spalte zu einem neuen Feature zu machen, wird als Zählcodierung bezeichnet. Durch die Kombination mit groupby ist es möglich, so etwas wie eine Seltenheit innerhalb eines bestimmten Attributs zu charakterisieren. Sie können dies mit Sammlungen tun. Counter, dies endet jedoch auch mit der Transformation.

Der Code, der in die Anzahl der Vorkommen des Site- und Datenpaars konvertiert werden soll, wird angezeigt. (30 Auftritte auf Seite A sind 2 Mal)

df["count_site_dat"] = df.groupby(["site","dat"]).transform(np.size)

Rangfolge

Berechnen Sie die größten Daten eines bestimmten Merkmals unter den Daten mit einem bestimmten Merkmal.

df["site_rank"] = df.groupby("site")["dat"].rank(method="dense")

Durch Ändern des Rangarguments wird hauptsächlich die Ausdrucksmethode mit demselben Wert (gleichem Rang) geändert. Weitere Informationen finden Sie in der Methode von Rank Rank Pandas.DataFrame, Series.