[PYTHON] Vorverarbeitung beim maschinellen Lernen 1 Datenanalyseprozess

Aidemy　2020/10/29

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der erste Beitrag zur Vorverarbeitung für maschinelles Lernen. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Datenfluss

Datenanalysefluss

• Als Ablauf (Prozess) der Datenanalyse wurden CRISP-DM und KDD vorgeschlagen. CRISP-DM -__ CRISP-DM__ hat den folgenden Prozess. ① __ Geschäftsverständnis __: Klären Sie, was die Probleme sind und was mit der Datenanalyse zu tun ist. ② __Datenverständnis __: Verstehen Sie, ob Daten erfasst und analysiert werden können. ③ __ Datenvorbereitung __: Formatieren Sie die Daten in ein Formular, das für die ④ Modellierung verwendet werden kann. ④ __ Modellierung __: Wenden Sie ein Modell auf die Daten an und analysieren Sie sie. ⑤ Auswertung: Bewerten Sie, ob das Analyseergebnis ausreichend ist. ⑥ __Anwenden __: Wenden Sie die Analyseergebnisse tatsächlich auf Probleme und Vorgänge an.

-Diese Prozesse sind jedoch nicht unbedingt einseitig und können bei Bedarf zurückgegeben werden. ・ Die Vorverarbeitung der diesmal gelernten Daten entspricht (2) und (3) dieses Prozesses.

・ Abbildung

KDD -__ KDD__ hat den folgenden Prozess. ① __ Datenerfassung __: Erfassen Sie Daten, indem Sie Probleme und Ziele festlegen. ② __Datenauswahl __: Wählen Sie aus den erfassten Daten die Daten aus, die für die Analyse (Data Mining) verwendet werden sollen. ③ __Datenbereinigung __: Führt eine Datenbereinigung durch, z. B. das Löschen fehlender Werte und Ausreißer. ④ __Datenkonvertierung __: Konvertiert das bereinigte Datenformat in ein Format, das für das Data Mining verwendet werden kann. ⑤ __Data Mining __: Führt Analysen und Lernvorgänge durch, indem Regression und Klassifizierung der konvertierten Daten durchgeführt werden. ⑥ __ Interpretation / Bewertung __: Interpretieren und bewerten Sie das Muster anhand der Ergebnisse des Data Mining.

・ Abbildung

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.