[PYTHON] Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Anhängen) zu verarbeiten.

Einführung

Dies ist der vierte Artikel, in dem jeder Prozess der Python-Vorverarbeitungsbibliothek DataLiner vorgestellt wird. Dieses Mal möchte ich das Append-System vorstellen. Damit ist die gesamte derzeit implementierte Vorverarbeitung abgeschlossen.
Wir planen, Ver1.2 mit einer Vorverarbeitung nach GW zu veröffentlichen, daher möchte ich zu diesem Zeitpunkt noch einmal einen Einführungsartikel schreiben.

Artikel veröffentlichen: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 Dokument: https://shallowdf20.github.io/dataliner/preprocessing.html

Installation

! pip install -U dataliner

Datenaufbereitung

Bereiten Sie die Titanic-Daten wie gewohnt vor.

import pandas as pd
import dataliner as dl

df = pd.read_csv('train.csv')
target_col = 'Survived'

X = df.drop(target_col, axis=1)
y = df[target_col]

AppendAnomalyScore Isolation Forest wird basierend auf den Daten trainiert und die Ausreißerbewertung wird als neue Feature-Menge hinzugefügt. Fehlende Wertvervollständigung und Verarbeitung kategorialer Variablen sind vor der Verwendung erforderlich.

trans = dl.AppendAnomalyScore()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    trans
)
process.fit_transform(X, y)

AppendCluster Die Daten werden mit KMeans ++ geclustert. Infolgedessen wird die Nummer des Clusters, zu dem die einzelnen Daten gehören, als neue Feature-Menge hinzugefügt. Fehlende Wertvervollständigung und Verarbeitung kategorialer Variablen sind vor der Verwendung erforderlich. Eine Skalierung wird ebenfalls empfohlen.

trans = dl.AppendCluster()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    dl.StandardScaling(),
    trans
)
process.fit_transform(X, y)

AppendClusterDistance Die Daten werden mit KMeans ++ geclustert. Infolgedessen wird der Abstand zwischen den einzelnen Daten und den einzelnen Clustern als neue Feature-Menge hinzugefügt. Fehlende Wertvervollständigung und Verarbeitung kategorialer Variablen sind vor der Verwendung erforderlich. Eine Skalierung wird ebenfalls empfohlen.

trans = dl.AppendClusterDistance()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    dl.StandardScaling(),
    trans
)
process.fit_transform(X, y)

AppendPrincipalComponent Führen Sie eine Hauptkomponentenanalyse für die Daten durch und fügen Sie die Hauptkomponente als neue Feature-Menge hinzu. Fehlende Wertvervollständigung und Verarbeitung kategorialer Variablen sind vor der Verwendung erforderlich. Eine Skalierung wird ebenfalls empfohlen.

trans = dl.AppendPrincipalComponent()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    dl.StandardScaling(),
    trans
)
process.fit_transform(X, y)

abschließend

Einführung der Elemente zum Anhängen von DataLiner. In Zukunft möchte ich einen einführenden Artikel über die Funktion beim Aktualisieren von DataLiner schreiben.

Artikel zur Veröffentlichung des Dataliner: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 Dokumentation: https://shallowdf20.github.io/dataliner/preprocessing.html GitHub: https://github.com/shallowdf20/dataliner PyPI: https://pypi.org/project/dataliner/