[PYTHON] Seit der Veröffentlichung von DataLiner 1.2.0 werden wir die neu hinzugefügte Vorverarbeitung einführen.

Einführung

Wir haben DataLiner 1.2.0 veröffentlicht, eine Vorverarbeitungsbibliothek für maschinelles Lernen. Dieses Mal habe ich ungefähr 6 neue Vorverarbeitungen hinzugefügt, daher möchte ich sie vorstellen.

GitHub: https://github.com/shallowdf20/dataliner PyPI: https://pypi.org/project/dataliner/ Document: https://shallowdf20.github.io/dataliner/preprocessing.html

Installation

Mit pip installieren.

! pip install -U dataliner

Datenaufbereitung

Verwenden Sie die Titanic-Daten wie gewohnt.

import pandas as pd
import dataliner as dl

df = pd.read_csv('train.csv')
target_col = 'Survived'

X = df.drop(target_col, axis=1)
y = df[target_col]

Lassen Sie uns jetzt einen Blick darauf werfen.

AppendArithmeticFeatures Zwischen den in den Daten enthaltenen Merkmalsmengen werden vier Regeln ausgeführt, und eine neue Merkmalsmenge mit einem höheren Bewertungsindex als der in der Berechnung verwendeten Merkmalsmenge wird neu hinzugefügt. Die Bewertung erfolgt durch logistische Regression. Standardmäßig sind Multiplikations- und Bewertungsindex AUC, aber auch Addition, Subtraktion und Division, Genauigkeit usw. sind verfügbar. Es ist notwendig, die fehlenden Werte vor der Verwendung einzugeben.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.AppendArithmeticFeatures(metric='roc_auc', operation='multiply')
)
process.fit_transform(X, y)

Auf diese Weise werden neue Funktionen hinzugefügt.

RankedEvaluationMetricEncoding Nachdem jede Kategorie zu einer Dummy-Variablen gemacht wurde, wird mit jeder Kategoriespalte und Zielvariablen eine logistische Regression durchgeführt. Erstellen Sie ein Ranking mit der resultierenden Metrik (standardmäßig AUC) und codieren Sie die ursprüngliche Kategorie mit diesem Ranking. Da jeder Kategorie eine fünffache logistische Regression zugeordnet ist, ist der Rechenaufwand für Merkmale mit hoher Kardinalität im Voraus enorm Es wird empfohlen, die Kardinalität mithilfe der Kategorie "Hohe Kardinalität" oder "Seltene Gruppe" zu verringern.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedEvaluationMetricEncoding()
)
process.fit_transform(X, y)

Sie können auch überprüfen, wie wichtig jede Kategorie in der kategorialen Variablen ist, indem Sie das Ranking ausgeben.

process['rankedevaluationmetricencoding'].dic_corr_['Embarked']

AppendClassificationModel Der Klassifizierer wird basierend auf den Eingabedaten trainiert und das Vorhersageergebnis wird als neue Merkmalsgröße hinzugefügt. Das Modell kann ein beliebiges sklearn-kompatibles Modell sein. Auch wenn die prädiktive_proba-Methode implementiert ist Sie können anstelle einer Bezeichnung eine Punktzahl hinzufügen, indem Sie das Argument Wahrscheinlichkeit = True angeben. Da das Modell trainiert wird, sind grundsätzlich die Vervollständigung fehlender Werte und die Verarbeitung kategorialer Variablen erforderlich.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.AppendClassificationModel(model=RandomForestClassifier(n_estimators=300, max_depth=5),
                                 probability=False)
)
process.fit_transform(X, y)

Dies ist der Fall, wenn Wahrscheinlichkeit = Wahr. Eine Punktzahl für Klasse 1 wird vergeben.

AppendEncoder Die verschiedenen im DataLiner enthaltenen Encoder ersetzen die Kategoriespalten direkt durch codierte Nummern. In einigen Fällen möchten Sie es jedoch möglicherweise als neue Feature-Menge verwenden, ohne es zu ersetzen. (TargetMeanEncoder usw.) In diesem Fall wird Encoder durch Umschließen in diese Klasse als Feature-Menge hinzugefügt.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.AppendEncoder(encoder=dl.TargetMeanEncoding())
)
process.fit_transform(X, y)

AppendClusterTargetMean Gruppieren Sie die Daten und weisen Sie eine Clusternummer zu. (Wie bisher Append Cluster) Ersetzen Sie dann jede Clusternummer durch den Durchschnitt der Zielvariablen im Cluster und fügen Sie sie als neue Funktion hinzu. Fehlende Wertvervollständigung und Verarbeitung kategorialer Variablen sind erforderlich.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.AppendClusterTargetMean()
)
process.fit_transform(X, y)

PermutationImportanceTest Dies ist eine Art von Merkmalsauswahlmethode. Mit oder ohne zufälliges Mischen von Daten für eine bestimmte Funktion Die Merkmalsauswahl wird unter dem Gesichtspunkt durchgeführt, um wie viel sich der Bewertungsindex des Modellvorhersageergebnisses verschlechtert. Wenn das zufällige Mischen der Daten keine großen Auswirkungen auf die Metrik hat, löschen Sie die Funktion, da sie nicht funktioniert.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.PermutationImportanceTest()
)
process.fit_transform(X, y)

Name, PassengerId und Parch wurden entfernt. Sie können die gelöschten Funktionen auch wie folgt überprüfen.

process['permutationimportancetest'].drop_columns_

['PassengerId', 'Name', 'Parch']

Sie können die Empfindlichkeit auch anpassen, indem Sie den Schwellenwert anpassen. Siehe Dokument für Details.

abschließend

Das Obige ist die neu hinzugefügte Vorverarbeitung. RankedEvaluationMetricEncoding ist manchmal genauer als TargetMeanEncoding, daher versuche ich es oft. Außerdem kann der Permutation Importance Test schneller ausgeführt werden als die Boruta- und Step-weise Methoden, sodass es keinen unerwarteten Unterschied gibt. Ich denke, dass es verwendet werden kann, wenn Sie die (?) Feature-Menge ernsthafter als DropLowAUC auswählen möchten.

Artikel veröffentlichen: [Aktualisiert Ver1.1.9] Ich habe eine Datenvorverarbeitungsbibliothek DataLiner für maschinelles Lernen erstellt

Die Vorverarbeitung vor 1.2 wird unten vorgestellt. Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Drop) zu verarbeiten Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Encoding) zu verarbeiten Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Konvertierung) zu verarbeiten Versuchen Sie, Titanic-Daten mit der Vorverarbeitungsbibliothek DataLiner (Anhängen) zu verarbeiten