Python: Vorverarbeitung beim maschinellen Lernen: Übersicht
Datenanalyseprozess und Vorverarbeitung
Datenanalyseprozess und Vorverarbeitung in CRISP-DM
Verstehen Sie zunächst den Gesamtfluss der Datenanalyse. Der Datenanalyseprozess umfasst die folgenden, die als Standardprozesse vorgeschlagen wurden.
- CRISP-DM
- KDD
In CRISP-DM (CRoss Industry Standard Process für Data Mining), das von Shearer et al. Wir befürworten den in der folgenden Abbildung gezeigten Prozess.
In diesem Prozess
(1) Klären Sie geschäftliche Probleme durch Geschäftsverständnis und planen Sie ein Datenanalyseprojekt. (2) Verstehen Sie die aktuellen Daten, indem Sie die Daten erfassen, indem Sie die Daten verstehen und bestätigen, dass die Daten zur Analyse bereit sind. (3) Formatieren Sie bei der Datenaufbereitung die Daten in das Format, das für die nachfolgende Modellierung erforderlich ist. (4) 5. Bewerten Sie die durch Modellierung erhaltenen Analyseergebnisse, und wenden Sie die Analyseergebnisse auf das Unternehmen an, wenn ausreichende Ergebnisse erzielt werden. Wie in der Abbildung gezeigt, sind diese Prozesse keine Einbahnstraßen, sondern wechseln je nach Bedarf zwischen den vorherigen und nächsten Prozessen hin und her.
Die Vorverarbeitung lernte hier
CRISP-In DM entspricht dies dem Datenverständnis und der Datenaufbereitung.
KDD wird im nächsten Abschnitt erläutert.
Datenanalyseprozess und Vorverarbeitung in KDD
Im Vergleich zu CRISP-DM, das das gesamte Datenanalyseprojekt im Geschäft berücksichtigt KDD (Knowledge Discovery in Databases) von Fayyad et al. Wir konzentrieren uns mehr auf den Datenanalyseteil. Das Diagramm des KDD-Prozesses ist wie folgt.
Recommended Posts