Aidemy　2020/9/21

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur KI-Fachschule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Das letzte Mal war mein erster Beitrag, aber ich bin sehr froh, dass viele Leute ihn gelesen haben. Vielen Dank! Dies ist der zweite Beitrag zur Datenbereinigung. Freut mich, dich kennenzulernen.

Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Über CSV ・ Verarbeitung auf fehlende Werte (NaN) -Prozessdaten für jeden Schlüssel im Wörterbuch

1　CSV

Laden Sie CSV mit Pandas

-CSV ist eine Datendatei, die häufig in der Datenanalyse verwendet wird. Laden Sie es zuerst mit Pandas. __ · pd.read_csv ("Datendateiname", Header = Angabe der Spalte, die Header sein soll) __

Keine, es sei denn, der Header ist angegeben.

import pandas as pd
# wine.Laden von csv
df = pd.read_csv("./4050_data_cleansing_data/wine.csv", header=None)
#Spaltennamen festlegen
df.columns = [Kürzung]
#Ausgabe
df

CSV mit CSV-Bibliothek erstellen

Erstellen Sie eine CSV mit der in Python integrierten "CSV-Bibliothek". __ ・ mit open ("Dateiname", "w") als csvfile: __ darin writer=csv.writer(csvfile, lineterminator="\n") Erstellen Sie (Writer-Methode, die csvfile- und Zeilenvorschubcode als Argumente verwendet) und verwenden Sie sie Geben Sie Daten mit __writer.writerow ([data]) __ ein.

import csv
with open("Dateiname","w") as csvfile:
  writer=csv.writer(csvfile, lineterminator="\n")
  writer.writerow(["version","year","gen"]) #Die erste Zeile ist der Spaltenname
  writer.writerow(["Rot grün",1996,1])
  writer.writerow(["Gold und Silber",1999,2])
  writer.writerow(["RS",2002,3])

#Lesen
with open("Dateiname","r") as csvfile:
  print(csvfile.read())
# version,year,gen
#Rot grün,1996,1
#Gold und Silber,1999,2
# RS,2003,3

CSV mit Pandas erstellen

・ Dies ist einfacher, wenn DataFrame in CSV konvertiert wird __ · DataFrame-Daten .to_csv ("Dateiname") __

data={"version":["Rot grün","Gold und Silber","RS"],"year":[1996,1999,2002],"gen":[1,2,3]}
df=pd.DataFrame(data)
df.to_csv("Dateiname")

2 Verarbeitung auf fehlende Werte (NaN)

Löschen Sie Zeilen und Spalten, die NaN enthalten

-Löschen von Zeilen und Spalten, die NaN enthalten, heißt __ "listwise delete" __. Das listweise Löschen erfolgt mit der Funktion dropna (). Wenn kein Argument angegeben wird, wird die Zeile gelöscht, und wenn Achse = 1 angegeben wird, wird die Spalte gelöscht. __ · DataFrame-Daten .dropna () __

-Wenn die Anzahl der Daten beim listweisen Löschen zu gering ist, ist es besser, die Spalte mit wenigen Fehlern zu belassen und die Zeile mit NaN daraus zu löschen. Dies wird als __ "paarweises Löschen" __ bezeichnet. __ · DataFrame-Daten [[Spalte zum Verlassen]] .dropna () __

data={"version":["Rot grün","Gold und Silber","RS"],"year":[1996,1999],"gen":[1]}
df=pd.DataFrame(data)
#Das listweise Löschen hat weniger Daten, also Version,Entfernen Sie Zeilen, die NaN enthalten, und lassen Sie nur die Jahresspalte übrig
df[[0,1]].dropna()
#version year
#Rot-Grün 1996
#Gold und Silber 1999

Vervollständigung fehlender Werte (1)

-Komplementierung durch Ersetzen alternativer Daten anstelle von Löschen. Verwenden Sie die Funktion fillna (). Setzen Sie "alternative Daten" oder "method =" ffill "" (wenden Sie den Wert in der vorherigen Zeile an) auf das Argument. __ · DataFrame-Daten .fillna () __

data={"version":["Rot grün","Gold und Silber","RS"],"year":[1996,1999],"gen":[1]}
df=pd.DataFrame(data)
#Ersetzen Sie NaN durch vorherige Daten
df.fillna(method="ffill")
#version year gen
#Rot-Grün 1996 1
#Gold und Silber 1999 1
#RS  1999 1

Vervollständigung fehlender Werte (2)

Durch Verwendung der Funktion mean () als Argument von fillna () können die alternativen Daten durch "den Durchschnittswert der Spalte" ersetzt werden. __ · DataFrame-Daten .fillna (DataFrame-Daten .mean ()) __

data={"version":["Rot grün","Gold und Silber","RS"],"year":[1996,1999],"gen":[1]}
df=pd.DataFrame(data)
#Ersetzen Sie NaN durch vorherige Daten
df.fillna(method="ffill")
#version year gen
#Rot-Grün 1996 1
#Gold und Silber 1999 1
#RS  1997.5 1

3 Verarbeiten Sie die Daten für jeden Schlüssel im Wörterbuch

Berechnen Sie für jeden Schlüssel

Der Durchschnittswert und der Maximalwert für jeden Schlüssel eines Wörterbuchs oder einer CSV (DataFrame) können mithilfe statistischer Funktionen wie mean () und max () berechnet werden. __ · Wörterbuch und df [Taste]. Statistische Funktion __

df = pd.read_csv("./4050_data_cleansing_data/wine.csv", header=None)
df.columns = ["","Alcohol",(Kürzung)]
#　"Alcohol"Durchschnittswertberechnung
df["Alcohol"].mean()
# 13.000617977528091

Extraktion und Löschung doppelter Daten

Verwenden Sie die Methode duplicated (), um genau dieselben Daten zu extrahieren. Verwenden Sie zum Löschen die Methode drop_duplicates (). __ · Doppelte Daten .duplicated () __ __ · Daten duplizieren .drop_duplicates () __

data={"version":["Rot grün","Gold und Silber","RS","Rot grün"],"year":[1996,1999,2002,1996],"gen":[1,2,3,1]}
df=pd.DataFrame(data)
#Doppelte Daten löschen
df.drop_duplicates()
# version,year,gen
#Rot grün,1996,1
#Gold und Silber,1999,2
# RS,2003,3

Erstellen Sie einen neuen Schlüssel, der einem vorhandenen Schlüssel entspricht

Das Erstellen eines neuen Schlüssels, der einem vorhandenen Schlüssel entspricht, wird als __ "Zuordnung" __ bezeichnet. __ · DataFrame-Daten [neuer Schlüssel] = DataFrame-Daten [Referenzquellschlüssel] .map (Korrespondenztabelle vom Wörterbuchtyp) __

data={"version":["Rot grün","Gold und Silber","RS"],"year":[1996,1999,2002],"gen":[1,2,3]}
df=pd.DataFrame(data)
#Zuordnung nach dem Erstellen einer Korrespondenztabelle vom Typ Wörterbuch
version_map={"Rot grün":"Kanto","Gold und Silber":"Johto","RS":"Hoenn"}
df["region"] = df["version"].map(version_map)
df
# version,year,gen,region
#Rot grün,1996,1,Kanto
#Gold und Silber,1999,2,Johto
# RS,2003,3,Hoenn

Stellen Sie den Bereich der numerischen Daten ein und kategorisieren Sie

Stellen Sie einen Bereich wie "0 bis 5" und "6 bis 10" ein und teilen oder aggregieren Sie die Daten für jeden Bereich. Eine solche Verarbeitung wird als "Bin Division" bezeichnet. Die Bin-Teilung erfolgt mit pd.cut (). __ · pd.cut (Daten [Schlüssel zum Festlegen des Bereichs], [Liste des Bereichs], Beschriftungen = [Liste der Namen für jeden Bereich]) __ # Bin split ・ Es gibt auch eine Methode, um die Anzahl der Unterteilungen anzugeben und den Bereich automatisch zu unterteilen. __ · pd.cut (Daten [Taste zur Angabe des Bereichs], Anzahl der Unterteilungen) __ __ · pd.value_counts (bin-dividierte Daten) __ # Aggregation der Anzahl der Daten für jeden geteilten Bereich

data={"version":["Rot grün","Gold und Silber","RS","DP"],"year":[1996,1999,2002,2006],"gen":[1,2,3,4]}
df=pd.DataFrame(data)
#Geben Sie den Bereich nach Jahr an und erstellen Sie zuerst die Bereichsliste.
range = [1996,2000,2007]
range_name = ["1996-2000","2000-2007"]
cut_df = pd.cut(df["year"], range, labels=range_name)
pd.value_counts(cut_df)
#1996-2000  2
#2000-2007  2

Zusammenfassung

Eine Datendatei namens CSV wird häufig für die Datenanalyse verwendet. CSV wird mit der Standard-Python-Bibliothek oder Pandas erstellt.
Fehlende Werte werden verarbeitet, indem sie mit dropna () gelöscht oder mit fillna () ergänzt werden. -Im Wörterbuch und DataFlame können Sie den Wert anhand des Schlüssels berechnen, doppelte Daten löschen (drop_duplicates), einen neuen Schlüssel erstellen (map) und durch Angabe des Bereichs (pd.cut) teilen. ..

das ist alles. Vielen Dank, dass Sie so weit gelesen haben.

[PYTHON] Datenbereinigung 2 Datenbereinigung mit DataFrame