[PYTHON] Extrahieren nicht numerischer Elemente mit pandas.DataFrame
Dieser Artikel stammt aus dem Furukawa Lab Advent_calendar Tag 18.
Dieser Artikel wurde von einem Studenten des Furukawa Lab im Rahmen seines Studiums verfasst. Der Inhalt kann mehrdeutig sein oder der Ausdruck kann leicht abweichen.
Einführung
Als ich mit Pandas vorverarbeitete, fühlte ich mich unbehaglich, weil andere Elemente als numerische Werte in den Daten gemischt wurden, daher werde ich es als Artikel zusammenfassen. Außerdem verwendet der Code in diesem Artikel ein Jupiter-Notizbuch.
Zu behandelnde Daten
kaggles 2,2k + Scotch Whisky Reviews Dataset
Daten Beschreibung
Dies ist ein Datensatz, der von Gutachtern über Scotch Whisky ausgewertet wird. Die Anzahl der Daten beträgt 2247 und die Anzahl der Elemente beträgt 7.
Bestätigung der Daten
#Bibliotheksimport
import pandas as pd
import numpy as np
#CSV-Datei lesen
data = pd.read_csv('scotch_review.csv')
#Anzeige von Daten
data.head()
Hauptthema
Überprüfen Sie, ob die zu verarbeitenden Daten Elemente mit anderen Typen als numerischen Werten enthalten
Dieses Mal verwenden wir nur die Artikel'review.point'and'price '. Schauen wir uns den Datentyp jeder Spalte an
#Typbestätigung
data[['review.point','price']].dtypes
Es scheint, dass andere Elemente als numerische Werte in der Spalte "areview.point" gemischt sind. ** Mit dem folgenden Code können Sie feststellen, ob die entsprechende Spalte nicht numerische Elemente enthält. (* Str Typ Nummer gibt True zurück) **
#'price', 'review.point'Wenn die Spalte Elemente enthält, die nicht in einen numerischen Typ konvertiert werden können'False'Gib es zurück.
data[['review.point', 'price']].apply(lambda s:pd.to_numeric(s, errors='coerce')).notnull().all()
Extraktion und Konvertierung von Elementen mit anderen Typen als Zahlen
Von hier aus extrahieren wir Elemente mit anderen Typen als Zahlen aus der Spalte "Preis" und ersetzen sie. Erstens ist die Extraktion.
#Extraktion nicht numerischer Elemente
pic = data[['price']][data['price'].apply(lambda s:pd.to_numeric(s, errors='coerce')).isnull()]
pic
!
Hier werden die Daten von / set und / liter als fehlende Werte behandelt und die anderen in numerische Typen konvertiert.
# ','Löschen,'/'Ersetzen Sie das Element, das enthält
change_data = pic['price'].str.replace(',','').mask(pic['price'].str.contains('/'), np.nan)
change_data
Reflektieren Sie die Änderungen in den Originaldaten.
#Erstellen Sie eine Kopie der Originaldaten und ersetzen Sie das entsprechende Teil
data_c = data.copy()
data_c.loc[pic.index,'price'] = change_data
Konvertieren Sie abschließend die Zahl in der Spalte "Preis" in einen numerischen Typ und löschen Sie die Zeile mit dem fehlenden Wert.
data_c['price'] = pd.to_numeric(data_c['price'], errors = 'ignore')
df = data_c.dropna()
Am Ende
Dieses Mal habe ich andere Elemente als numerische Werte extrahiert und durch pandas.DataFrame ersetzt. Im nächsten Artikel werde ich diesen vorverarbeiteten Whiskey Reviews-Datensatz visualisieren.
Blinddarm
Hier ist eine Beschreibung der Funktion, die ich in meinem Code verwendet habe.
Feststellen, ob Elemente vorhanden sind, die nicht in einen numerischen Typ konvertiert werden können
#'price', 'review.point'Wenn die Spalte Elemente enthält, die nicht in einen numerischen Typ konvertiert werden können'False'Gib es zurück.
data[['review.point', 'price']].apply(lambda s:pd.to_numeric(s, errors='coerce')).notnull().all()
- to_numeric(arg, errors = 'coerce')
- Konvertieren Sie jedes Element von arg (pd.Series) in einen numerischen Typ. Wenn es nicht konvertiert werden kann, wird es gemäß dem an Fehler übergebenen Argument verarbeitet. Da dies der Fall ist, wird das Element, das nicht konvertiert werden kann, durch den fehlenden Wert NaN ersetzt. (Standard ist'raise ') --Funktionsname = lamba Argument: Ausdruck
- Anonyme Funktion. Es funktioniert genauso wie die folgende Funktion.
def Funktionsname(Streit):
Ausdruck zurückgeben
--DataFrame.apply (Funktion, Achse = 0)
- Übergeben Sie das DataFrame-Element als Funktionsargument. Wählen Sie die Übergabemethode (Zeilen- oder Spaltenrichtung) mit Achse.
- DataFrame.notnull()
- Gibt True für jedes Element von pandas.DataFrame zurück, wenn es kein fehlender Wert ist, und False, wenn es ein fehlender Wert ist.
- DataFrame.all(axis = None)
- Gibt True zurück, wenn alle Elemente in der Zeile oder Spalte True sind.
Teilweises Ersetzen der Zeichenfolge jedes Elements und Ersetzen des Werts selbst
# ','Löschen,'/'Ersetzen Sie das Element, das enthält
change_data = pic['price'].str.replace(',','').mask(pic['price'].str.contains('/'), np.nan)
change_data
--Series.str.replace ('String A', 'String B') --Convert'string A'inhaltig in jedem Element der Serie zu'string B ' --Series.str.contains ('string A')
- Gibt Elemente mit 'Zeichenfolge A'as True und andere Elemente als False zurück. --Series.mask (arg, 'value')
- Ersetzen Sie das True-Element von arg (Series) durch einen 'value'-Wert und ändern Sie das' False'-Element nicht.
Recommended Posts