[PYTHON] Vorverarbeitung beim maschinellen Lernen 3 Fehlende Wert- / Ausreißer- / Ungleichgewichtsdaten

Aidemy　2020/10/29

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der dritte Beitrag der Vorverarbeitung für maschinelles Lernen. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Umgang mit fehlenden Werten ・ Umgang mit Ausreißern ・ Umgang mit unausgeglichenen Daten

Umgang mit fehlenden Werten

Über fehlende Werte

-__ Fehlender Wert __ ist __ leere Daten __ dargestellt durch "NaN". -Wenn NaN in den Daten vorhanden ist, __ kann der Gesamtmittelwert oder die Standardabweichung nicht berechnet werden __. -Wenn alle __ alle __ Daten, die nur einen fehlenden Wert enthalten, gelöscht werden, werden die Daten verschwendet oder verzerrt.

Mechanismus der fehlenden Wertschöpfung

• Wie im vorherigen Abschnitt gezeigt, können Daten mit fehlenden Werten nur analysiert werden, wenn sie ordnungsgemäß verarbeitet wurden. Daher ist es notwendig, eine geeignete Vorbehandlung für fehlende Werte durchzuführen, aber das Verfahren unterscheidet sich in Abhängigkeit vom Mechanismus der Erzeugung fehlender Werte.

• Es gibt die folgenden drei Arten von Mechanismen zur Wertschöpfung. 1 .__ MCAR: Wenn die Wahrscheinlichkeit eines Datenverlusts (NaN werden) für die Daten selbst irrelevant ist (zufällig auftretend) __ Beispiel: Einige Daten gingen aufgrund einer Fehlfunktion des Computers verloren. 2 .__ MAR: Wenn die Wahrscheinlichkeit eines Datenverlusts aus anderen Elementen als diesem Element abgeleitet werden kann __ ex) Wenn der Punkt "Geschlecht" im Fragebogen für Männer und Frauen weiblich ist, ist die Wahrscheinlichkeit eines Mangels an dem Punkt "Alter" hoch. 3 .__ NMAR: Wenn die Wahrscheinlichkeit eines Datenverlusts aus dem Punkt __ abgeleitet werden kann ex) In einem Fragebogen für Männer und Frauen ist die Wahrscheinlichkeit, dass der Punkt "Alter" fehlt, umso höher, je älter das tatsächliche Alter ist.

Umgang mit fehlenden Werten

• Geeignete Gegenmaßnahmen unterscheiden sich je nach Mechanismus der fehlenden Wertschöpfung.

-Im Fall von MCAR ist es auch möglich, __ "listwise delete" __ auszuführen, um alle Daten einschließlich fehlender Werte zu löschen. Wenn die Anzahl der Daten zu klein wird, kann daher auch __ "Zuweisungsmethode" __ (später beschrieben) verwendet werden. -Für MAR verwenden Sie __ "Zuweisungsmethode" __. Das listweise Löschen ist unangemessen, da beispielsweise viele weibliche Daten gelöscht und die Daten voreingenommen sind.

• Im Fall von NMAR ist es schwierig, richtig damit umzugehen. Daher werden __ im Grunde genommen Daten gesammelt __.

Substitutionsmethode

-Es gibt ungefähr zwei Arten von Methoden zur Substitution fehlender Werte. Details werden später beschrieben.

1. __ Einzelzuweisungsmethode __: Eine Methode zum Ergänzen fehlender Werte, um ein vollständiges Dataset zu erstellen und daraus ein Modell zu erstellen.
2. __ Mehrfachzuweisungsmethode __: Eine Methode zum Erstellen mehrerer vollständiger Datensätze, die fehlende Werte ergänzen, zum Erstellen eines Modells für jeden Datensatz und zum endgültigen Integrieren der Modelle in einen.

Visualisierung fehlender Werte

・ Untersuchen Sie, wo sich NaN befindet, indem Sie die Daten visualisieren. -Wenn Sie leicht wissen möchten, wie viele NaNs sich in welcher Spalte befinden, können Sie __ "Data.isnull (). Sum ()" __ von Pandas verwenden. -Wenn Sie den Status des gesamten fehlenden Werts visualisieren möchten, verwenden Sie die __matrix-Funktion __ des __missingno-Pakets __.

・ Code

・ Ergebnis (weißer Teil fehlt Wert)

Einzelne Substitutionsmethode

-Wenn fehlende Werte in der __Sonle-Substitutionsmethode __ ergänzt werden, gibt es je nach Zweck drei Arten von Methoden.

-__ Durchschnittswertsubstitutionsmethode : Ersetzen Sie den fehlenden Wert NaN durch den Durchschnittswert des Elements. Wenn der Durchschnittswert zunimmt, wird die Gesamtvarianz kleiner, sodass sie nicht verwendet werden kann, wenn die Varianz und der Fehler berücksichtigt werden sollten. - Probabilistische Regressionssubstitutionsmethode : Obwohl nicht im Detail behandelt, können Streuung und Fehler berücksichtigt werden. - Hot Deck-Methode __: Ergänzen Sie dies, indem Sie den Wert aus der Datenzeile (Empfänger) mit dem fehlenden Wert und der Datenzeile (Spender) empfangen, deren Daten nahe beieinander liegen. -Die Nähe der Daten wird mit einer Methode namens __ "Methode des nächsten Nachbarn" __ bestimmt.

Hot-Deck-Methode

-Die Hot-Deck-Methode wird wie folgt beschrieben und ausgeführt. knnimpute.knn_impute_few_observed(matrix, missing_mask, k)

• Übergeben Sie für das Argument die konvertierten Daten an np.matrix an "matrix". Übergeben Sie in "missing_mask" die von __np.isnan (Matrix) __matrixierten Daten, wobei der fehlende Wert in der Matrix enthalten ist. "K" gibt die Anzahl der Punkte in der Nähe an, die bei der "nächsten Methode" KNN berücksichtigt werden sollen.

・ KNN ist eine Methode, die beim "überwachten Lernen (Klassifizierung)" erlernt wurde, und eine Methode, die k Punkte in der Nähe bei der Klassifizierung eines bestimmten Datenpunkts berücksichtigt.

• Da die Daten auch in np.matrix konvertiert werden, muss bei Bedarf zum ursprünglichen Datenformat zurückgekehrt werden.

・ Code

Informationen zur Mehrfachzuweisungsmethode

-Im Fall der Einzelsubstitutionsmethode ist der komplementierte Wert nur ein vorhergesagter Wert, so dass es einen Nachteil gibt, dass das Analyseergebnis des Modells, das dieses verwendet, nicht immer genau ist. ・ Andererseits werden bei der Mehrfachsubstitutionsmethode Daten mehrmals ergänzt, um mehrere Datensätze zu erstellen, und die Analyseergebnisse werden in einen integriert, um das Endergebnis zu erzielen. Ist möglich__.

-Das in der Mehrfachzuweisungsmethode verwendete Modell kann unter Verwendung von Mäusen von Statistikmodellen wie folgt ausgedrückt werden. mice.MICE(formula, optimizer, imp_data)

• Übergeben Sie für jedes Argument den Ausdruck der vom Modell vorhergesagten Variablen an "Formel". Im Fall eines linearen multiplen Regressionsmodells, das eine Variable namens "Entfernung" mit "Zeit" und "Geschwindigkeit" vorhersagt, wird dies beispielsweise wie folgt ausgedrückt. 'distance ~ time + speed'
• Geben Sie das Analysemodell in "Optimierer" an und übergeben Sie __ "Mäuse.MICEData (Daten) -Funktion" __, die erstellt werden soll, damit Daten von MICE in "imp_data" verarbeitet werden können.

-Das ergänzende Analyseergebnis kann mit der Methode __fit () __ für das auf diese Weise erstellte MICE-Modell erhalten werden. (Ausführung der Mehrfachzuweisungsmethode)

• Geben Sie die Anzahl der Versuche für einen Abschluss __ im ersten Argument von fit () an und übergeben Sie __ die Anzahl der erstellten Datensätze __ im zweiten Argument.

-Für dieses Analyseergebnis können Sie das Ergebnis mit der Methode __summary () __ überprüfen.

・ Code

Über Ausreißer

Probleme durch Ausreißer

-__ Ausreißer __ bezieht sich auf Daten __, die erheblich von anderen Daten __ entfernt sind. -Wenn Ausreißer gemischt sind, treten Probleme wie __ "Analyseergebnisse sind nicht genau" und "Modelllernen ist langsam" auf. -Daher ist es notwendig, Ausreißer in der Vorverarbeitungsphase zu erkennen und auszuschließen __.

Visualisierung von Ausreißern

・ Es ist leicht zu verstehen, ob es einen Ausreißer gibt.

• Verwenden Sie zur Visualisierung das Boxbox-Diagramm (x, y, whis) __. Was gezeichnet wird, sind "Box Whisker", und die Ausreißer sind mit "♦ ︎" gekennzeichnet. -Die Argumente "x" und "y" geben die Daten der x-Achse und der y-Achse an, und "whis" gibt die Kriterien an, die als Ausreißer anzusehen sind.

-Wenn die Daten zweidimensional sind, kann auch __joinplot (x, y, data) __ verwendet werden. Da die Punkte wie im Streudiagramm dargestellt dargestellt sind, werden die Ausreißer visuell erfasst. -Sie können einen DataFrame an das Argument "data" übergeben.

・ Code (Geben Sie nur die y-Achse an, da Sie nur wissen müssen, wie weit die vertikale Achse entfernt ist.)

・ Ergebnis

Ausreißererkennung [LOF]

-Wenn festgestellt wird, dass es einen Ausreißer gibt, erkennt __ tatsächlich den Ausreißer __. -Für die Erkennung sind Kriterien wie __ "Welcher Wert sollte ein Ausreißer sein" __ erforderlich. Dieses Mal werden wir uns mit der Methode __ "LOF" __ von scicit-learn befassen, die erkennt, nachdem der Standard im Voraus festgelegt wurde. ・ Die Beurteilung des LOF-Abweichungswerts erfolgt wie folgt. (1) Betrachten Sie einen Punkt mit wenigen Datenpunkten in der Nähe von __ als Ausreißer. (2) Die Beurteilung von "nahe" erfolgt unter Verwendung von __k Nachbarschaftspunkten __. ③ Der Punkt, an dem diese Beurteilung (Datendichte) mit der Umgebung relativ gering ist, wird als Ausreißer beurteilt __.

-LOF kann mit __LocalOutlierFactor (n_neighbors = k) __ verwendet werden. -Für n_nachbarn geben Sie die Anzahl der benachbarten Punkte k an.

• Danach werden die Daten wie bei einem normalen Modell mit der Methode __fit_predict (data) __ trainiert und der Ausreißer erkannt. -DataFrame kann unverändert an Daten übergeben werden.
• Als Rückgabewert wird ein Array wie __array ([1,1, -1,1, ...]) __ zurückgegeben. Von diesen wird der Teil "-1" als Ausreißer angesehen.
• Wenn Sie andererseits __data [Variable angeben, in der der Rückgabewert == -1] __ gespeichert ist, können Sie die Zeilen extrahieren, die als Ausreißer gelten.

・ Code

-Result (Ausgabe von Ausreißern)

Ausreißererkennung [isolationForest]

-Es gibt eine Methode namens __ "Isolationswald" __ als Methode zum Erkennen von Ausreißern, die sich von LOF unterscheiden. -Im IsolationForest werden die Ausreißer erkannt, indem __ zufällig die Daten geteilt und der Wert auf die Tiefe gesetzt wird. -Seit IsolationForst hängt nicht von Entfernung oder Dichte ab, die Berechnung ist nicht kompliziert und __Speicher sparen __. Es hat auch die Funktion, dass es einfach ist, die Berechnung auch für große Datenmengen zu skalieren.

• IsolationForest kann ähnlich wie LOF Ausreißer mithilfe der Funktion "IsolationForest ()" vorhersagen.

Das Klassifizierungsmodell wird von __IsolationForest () __ erstellt, das mithilfe der Methode __fit () __ trainiert und von pred () vorhergesagt wird. Wie bei LOF ist "-1" ein Ausreißer für diesen Rückgabewert. Erhalten Sie ihn also wie __data [Vorhersagen == -1] __.

·Code

・ Ergebnis

Informationen zu Ungleichgewichtsdaten

Probleme durch unausgeglichene Daten

• Von den Datenwerten werden die Daten __, deren spezifischer Wert extrem groß oder klein ist, __ "unsymmetrische Daten" __ genannt.
• Wenn beispielsweise der Wert wie in der binären Klassifizierung "0" oder "1" ist, sind 999 von 1000 Daten "1" und 1 "0". Wenn Sie mit diesen Daten __ "1" vorhersagen, erreichen Sie 99,9%, aber "0" ist fast unvorhersehbar __. -Daher ist es notwendig, die unsymmetrischen Daten in der Phase der Datenvorverarbeitung richtig anzupassen __.

-Es gibt die folgenden drei Einstellmethoden. -__ Oversampling : Eine Methode zur Erhöhung des __ Gleichgewichts seltener Daten. - Unterabtastung : Eine Methode zum Ausgleich __ durch Reduzieren der __ Unterabtastung häufig verwendeter Daten. - SMOTE-ENN__: Erhöhen Sie den kleineren (SMOTE) und verringern Sie den größeren (ENN), um das Gleichgewicht zu halten.

• Wenn Sie unausgeglichene Daten anpassen, müssen Sie zunächst bestätigen, ob unausgeglichene Daten vorhanden sind, dh die Anzahl (Häufigkeit) jedes Werts __ visualisieren. -Visualisieren Sie die Nummer wie folgt. __Data ['column'] .value_counts () __

-Code (Daten darüber, ob eine Person ein Auto gekauft hat) .com / 0/698700 / b12aa6ff-a80c-949c-cdb3-85cc22a6289a.png)

Überabtastung

-__ Oversampling__ ist eine Methode, um seltene Daten zu erhöhen und mit häufigeren Daten abzugleichen. -Es gibt verschiedene Möglichkeiten, um die Daten zu erhöhen, aber die einfachste ist die __ "Methode zum zufälligen Aufblasen vorhandener Daten" __. -Für das Auffüllen wird der unausgeglichene Lern-__RandomOverSampler (Verhältnis = 'Minderheit') __ verwendet, der zum Anpassen unausgeglichener Daten verwendet wird.

• Nachdem Sie RandomOverSampler definiert haben, führen Sie es tatsächlich mit __. Fit_sample (X, y) __ aus. ・ Dazu habe ich die Zielvariable X und die erklärende Variable y und bereite zwei Variablen zum Speichern der aufgefüllten vor.

・ Code

Unterabtastung

-__ Unterabtastung __ ist eine Methode zum Reduzieren und Ausgleichen häufig verwendeter Daten. -Sie können die Daten mit __RandomUnderSampler () __ reduzieren. In Bezug auf das Verhältnis, das zu diesem Zeitpunkt durch das Argument angegeben wird, wird das Verhältnis mit der höchsten Häufigkeit zu diesem Zeitpunkt als __ 'Mehrheit' __ festgelegt.

・ Code

SMOTE-ENN -SMOTE wird für die Überabtastung (Aufblasen von Daten) und ENN für die Unterabtastung (Löschen von Daten) verwendet.

• Darüber hinaus verwendet SMOTE die Methode __nearest neighbour (kNN) __, um auf die zu erhöhenden Daten zu schließen und diese aufzublasen. ENN leitet daraus auch die zu reduzierenden Daten ab und löscht sie auf die gleiche Weise wie kNN. ・ Verwenden Sie __SMOTEENN (smote =, enn =) __, um SMOTE und ENN zu verwenden. Es ist im Grunde dasselbe wie ROS und RUS, es ist jedoch erforderlich, die Anzahl der Nachbarschaftspunkte (k_neighbors, n_neighbors) anzugeben, die in kNN im Argument verwendet werden.

・ Code

Zusammenfassung

-__ Fehlender Wert __ sind leere Daten, die durch "NaN" dargestellt werden. -__ Außer Wert __ sind Daten, die sich erheblich von anderen Daten unterscheiden. -__ Unausgeglichene Daten__ sind Daten, bei denen ein bestimmter Wert extrem hoch oder niedrig ist. -Diese Daten beeinträchtigen das maschinelle Lernen und müssen vorverarbeitet werden.

-Der fehlende Wert wird ergänzt, indem NaN durch einen numerischen Wert durch __ "Zuweisungsmethode" __ ersetzt wird.

• Holen Sie sich die Ausreißer mit __ "LOF" und "Isolationswald" __ und schließen Sie sie aus. -Unausgeglichene Daten werden ausgeglichen, indem __ "Überabtastung", "Unterabtastung" __ oder beides durchgeführt wird.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.