[PYTHON] Vorverarbeitung beim maschinellen Lernen 2 Datenerfassung

Aidemy　2020/10/29

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur KI-Fachschule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der zweite Beitrag der Vorverarbeitung für maschinelles Lernen. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Datenerfassung aus Excel ・ Erfassung von Daten aus der Datenbank

Datenerfassung aus Excel

Daten gelesen

-Das erste, was bei der Datenvorverarbeitung zu tun ist, ist __ "Daten lesen" __. -Datenquellen, die Daten lesen, umfassen __ "Dateien", "Datenbanken", "Websites" __, und dieses Mal werden wir uns mit Excel-Dateien und Datenerfassung aus Datenbanken befassen, die häufig gelesen werden. ..

-Lesen Sie Daten aus Excel mit pandas.

• Wie Sie in "Datenverarbeitung 2" gelernt haben, verwenden Sie __pd.read_excel () __, um Excel-Dateien zu lesen.
• In diesem Argument können "Dateilink" und "Blattname in Excel" angegeben werden. -Auch können Sie die individuell festgelegte __pd.ExcelFile ("Dateiname") __ als erstes Argument übergeben.

Excel-Daten kombinieren

-__ Wenn Sie die in mehreren Blättern organisierten Daten als eine Daten __ behandeln möchten, müssen Sie Datenkombination als Vorverarbeitung ausführen.

• Beispielsweise ist es denkbar, Blatt A der Produktdaten und Blatt B der Verkaufsdaten in horizontaler Richtung zu kombinieren. -Verwenden Sie __pd.merge (links, rechts, ein =) __ für diese Zusammenführung. -Die Argumente "left" und "right" geben das zu verbindende Blatt auf der linken / rechten Seite an, und "on" gibt den Namen der Spalte an, die zum Verbinden verwendet wird.

・ Code

・ Ergebnis

Filtern von Excel-Daten

-Wenn Sie die Daten (Zeilen) mit einer bestimmten Zeichenfolge aus den gelesenen oder kombinierten Excel-Daten (Blatt) eingrenzen möchten, verwenden Sie __DataFlame.query ('Spalte mit angegebener Zeichenfolge> Zeichenfolge') __ Machen. -Wenn Sie mehr als eine dieser Zeichenfolgen angeben möchten, übergeben Sie sie in einer Liste und ändern Sie den Teil ">" des obigen Codes in "==" oder "in".

• Wenn Sie beispielsweise Zeilen mit den Produkt-IDs 1 und 3 der von Pandas gelesenen Daten "df" extrahieren möchten, gehen Sie wie folgt vor.

df.query('product_id == [1,3]')

Datenaggregation (Gruppierung)

• Im geladenen Produktblatt "df" befindet sich eine Spalte mit dem Namen "Typ", in der die Daten zu "Lebensmittel" für Lebensmittel, "Getränk" für Getränke und "süß" für Süßigkeiten gehören. Und.
• Wenn Sie die Anzahl der __ Daten zu "Lebensmittel" wissen möchten, müssen Sie die zu "Lebensmittel" gehörenden Daten aggregieren und gruppieren. -Für die Gruppierung verwenden Sie __df.groupby ('Name der zu gruppierenden Spalte') __.
• Verwenden Sie zu diesem Zeitpunkt beim Gruppieren mit mehreren Spalten __ ('Spalte 1', 'Spalte 2']) __. -Die Form der von dieser groupby-Methode zurückgegebenen Daten lautet "GroupBy-Objekt" und wird mithilfe von Methoden wie __count (), mean (), sum (), max () __ gruppiert. Es ist möglich, die Anzahl solcher Daten zu erhalten. (Bereits im Pandas-Kurs gelernt)

・ In diesem Beispiel können Sie wie folgt vorgehen.

gb = df.groupby('type')
gb['food'].count()

Daten aus der Datenbank abrufen

Daten aus der Datenbank lesen

-Das Lesen aus der Datenbank erfolgt mit __pd.read_sql () __, aber der als Argument übergebene Wert ist etwas Besonderes.

• Geben Sie im ersten Argument die Tabelle und Spalte der zu lesenden Datenbank wie folgt an.

''' SELECT Spalte 1, Spalte 2 ("," ist in der letzten Spalte nicht erforderlich) FROM Tabelle '''

• Übergeben Sie als zweites Argument die Informationen der Datenbank, die miteinander verbunden werden soll, wie folgt.

__sqla.create_engine ('Verbindungsdatenbank + Treibername: // Verbindungsbenutzername: Kennwort @ Hostname: Portnummer / Datenbankname? Zeichensatz = Zeichencode') __

-Der Datenfluss wird unten beschrieben. (Die Informationen in der Datenbank sind fiktiv)

import sqalchemy as sqla
#Fassen Sie die Datenbankinformationen zusammen
engine = sqla.create_engine('mysql+mysqldb://ngayope:ngayope@mysql-service:3307/database1?charset=utf8')
#Aus der Tabelle "Produkte" der Datenbank "Datenbank1", "Produkt"_ID "und" Produkt_Holen Sie sich "Name"
pd.read_sql('''
SELECT
 product_id,
 product_name
FROM products
''',engine)

Tisch verbinden

-Sie können die Tabellen der Datenbank auch mit pd.merge (links, rechts, on =) wie in Excel verbinden, aber im Fall der Datenbank können Sie einfacher verbinden. -Für Joins verwenden Sie SQL JOIN. -Die Verknüpfungsmethode wird unten beschrieben (beim Verbinden von Tabelle B mit Tabelle A unter Verwendung von Spalte 1 als Schlüssel).

''' SELECT Tabelle A. Spalte 1, Tabelle B. Spalte 1 FROM Tabelle A. JOIN Tabelle B ON Tabelle A. Spalte 1 = Tabelle B. Spalte 1 (zum Hinzufügen beschreiben) '''

Daten filtern

• Verwenden Sie die WHERE- Klausel, um __data einzugrenzen. Wenn Sie es verwenden, tun Sie es in derselben Zeile wie SELECT und FROM. ・ Verwenden Sie __ "ODER" "UND" __, wenn Sie durch mehrere Bedingungen eingrenzen möchten. "UND" extrahiert Elemente, die alle Bedingungen erfüllen.

''' WHERE Tabellenname. Spaltenname = Wert, den Sie extrahieren möchten 1 ODER Tabellenname. Spaltenname = Wert, den Sie extrahieren möchten 2 '''

・ Code bis zu diesem Punkt (Daten zeigen das Verkaufsdatum und den Listenpreis des Produkts)

・ Erläuterung des obigen Codes: __ "SELECT" __ gibt die drei Daten an, die dieses Mal ausgegeben werden sollen. __ "FROM" __ gibt mlprep_sales_products an, eine Tabelle mit "Welche Produkte wurden verkauft", und __ "JOIN ON" __ kombiniert dies mit mlprep_sales und mlprep_products. Schließlich werden in __ "WHERE" __ nur diejenigen extrahiert, deren Spalte "catalog_price", die den Listenpreis der Tabelle mlprep_products angibt, 200 oder mehr beträgt.

Datenaggregation

-Ich habe die Methode mit GroupBy von Pandas erklärt, aber SQL hat auch die __GROUP BY-Klausel __, die dieselbe Funktion hat, und Daten können damit aggregiert werden.

• Wenn Sie Daten aggregieren, verbinden Sie die Daten nach Bedarf und aggregieren Sie sie dann in einer Tabelle.

''' JOIN Tabelle B ON Tabelle A. Spalte 1 = Tabelle B. Spalte 1 GROUP BY Aggregierte Spalten '''

Zusammenfassung

-Excel Daten gelesen ist _pd.read_excel () ___, Datenverknüpfung ist __pd.merge () __, Datenverengung ist __df.query () __, Datenaggregation (Gruppierung) ist __df.groupby () _ Machen mit _. -Lesen Sie Datenbankdaten mit __pd.read_sql () __.

• Geben Sie für das erste Argument die Tabelle und Spalte an, die von __ "SELECT column FROM table" __ gelesen werden sollen.
• Verwenden Sie in ähnlicher Weise __ "JOIN" __ für die Datenbindung, __ "WHERE" __ für die Filterung und __ "GROUP BY" __ für die Aggregation.
• Geben Sie für das zweite Argument die Datenbankinformationen an, die in __sqla.create_engine () __ zusammengefasst sind.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.