[PYTHON] Einführung von DataLiner Version 1.3 und Verwendung von Union Append

Einführung

Wir haben alle Hauptfunktionen implementiert, die für die Veröffentlichung von DataLiner 1.3.1 erwartet wurden. In Zukunft wird es im Entwicklungstempo darum gehen, von Zeit zu Zeit Fehlerbehebungen und Vorverarbeitungen hinzuzufügen.

Veröffentlichungsartikel: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 GitHub: https://github.com/shallowdf20/dataliner Document: https://shallowdf20.github.io/dataliner/preprocessing.html

Installation

! pip install -U dataliner

Änderungen in Version 1.3

Es gibt die folgenden vier.

• Implementierung von UnionAppend --StandardizeData abgeschafft (umbenannt in Standard Scaling) --Abolition von ArithmeticFeatureGenerator (umbenannt in AppendArithmeticFeatures) --load_titanic Implementierung

Dann werde ich die spezifische Verwendung vorstellen.

Wie benutzt man

Importieren Sie zunächst das diesmal zu verwendende Paket.

import dataliner as dl
from sklearn.pipeline import make_pipeline
from sklearn.ensemble import RandomForestClassifier

Ab dieser Version sind Titandaten im Paket enthalten, was das Ausprobieren erleichtert. Verwenden Sie die Methode load_titanic, um die Beispiel-Titandaten zu laden.

X, X_test, y = dl.load_titanic()

Jetzt sind X die Daten ohne "Überlebt" in train.csv, X_test ist test.csv und y ist die Spalte "Überlebt" in train.csv.

Wie benutzt man

Dieses Mal werde ich den Prozess ** Union Append ** vorstellen.

Bei der DataLiner-Vorverarbeitung erhält grundsätzlich jede Vorverarbeitung, die neue Features aus vorhandenen Features hinzufügt, den Klassennamen Anhängen 〇〇.

Aus diesem Grund haben wir ArithmeticFeatureGenerator in dieser Version in AppendArithmeticFeatures geändert. Die Ausnahmen sind BinarizeNaN und CountRowNaN. Dies sind jedoch die Prozesse, die im Prinzip vor der Vervollständigung / Kategorieverarbeitung für fehlende Werte ausgeführt werden. Daher wird dieser Name verwendet.

Nehmen wir zum Beispiel an, Sie möchten Features als Ganzes hinzufügen und eine Pipeline wie folgt erstellen.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.StandardScaling(),
    dl.AppendCluster(),
    dl.AppendAnomalyScore(),
    dl.AppendPrincipalComponent(),
    dl.AppendClusterTargetMean(),
    dl.AppendClassificationModel(model=RandomForestClassifier(n_estimators=100, max_depth=5)),
    dl.AppendClusterDistance(),
    dl.AppendArithmeticFeatures(),
)
process.fit_transform(X, y)

Bei dieser Methode wird beispielsweise der vom Append Cluster hinzugefügte Feature-Betrag als Originaldaten für den nächsten Append Anomaly Score verwendet. (Und der Funktionsumfang wird in allen Anhängen stead unten stetig zunehmen.)

Möglicherweise möchten Sie parallel statt wie folgt seriell verarbeiten und alle Funktionen, die der Grundlage von Anhängen zugrunde liegen, gleich machen. In diesem Fall können Sie Union Append verwenden.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.StandardScaling(),
    dl.UnionAppend([
        dl.AppendCluster(),
        dl.AppendAnomalyScore(),
        dl.AppendPrincipalComponent(),
        dl.AppendClusterTargetMean(),
        dl.AppendClassificationModel(model=RandomForestClassifier(n_estimators=100, max_depth=5)),
        dl.AppendClusterDistance(),
        dl.AppendArithmeticFeatures(),
    ]),
)
process.fit_transform(X, y)

Durch Angabe der Klasse von Anhängen ○○, die Sie in einem Array auf UnionAppend anwenden möchten, werden alle Basisfunktionen der Verarbeitung in UnionAppend vereinheitlicht, und die Verarbeitungsergebnisse der einzelnen Anhänge ○○ werden kombiniert und zurückgegeben. Das Ausführungsergebnis ist wie folgt.

Die Verarbeitung zum Testen der Daten erfolgt wie gewohnt.

process.transform(X_test)

abschließend

Damit ist die Implementierung der ursprünglich erwarteten Funktionen und die verwendete Vorverarbeitung abgeschlossen. Wenn ich in Zukunft eine Fehlerbehebung und eine neue Vorverarbeitung finde, werde ich sie hinzufügen, wenn ich daran denken kann.