Python: prétraitement dans l'apprentissage automatique: présentation

Processus d'analyse et prétraitement des données

Processus d'analyse des données et prétraitement dans CRISP-DM

Tout d'abord, comprenez le flux global de l'analyse des données. Le processus d'analyse des données comprend les éléments suivants, qui ont été proposés comme processus standard.

Dans CRISP-DM (CRoss Industry Standard Process for Data Mining) préconisé par Shearer et al. Nous préconisons le processus illustré dans la figure suivante.

image.png

Dans ce processus

(1) Clarifier les problèmes commerciaux grâce à la compréhension des affaires et planifier un projet d'analyse de données. (2) Comprendre les données actuelles en acquérant les données en comprenant les données et en confirmant que les données sont prêtes pour l'analyse. (3) Lors de la préparation des données, formatez les données dans le format requis pour la modélisation ultérieure. (4) 5. Évaluer les résultats d'analyse obtenus par modélisation et, si des résultats suffisants sont obtenus, 6. appliquer les résultats d'analyse à l'entreprise. Comme le montre la figure, ces processus ne sont pas à sens unique, mais vont et viennent entre les processus précédent et suivant selon les besoins.

Le prétraitement appris ici

CRISP-En DM, cela correspond à la compréhension et à la préparation des données.

KDD sera expliqué dans la section suivante.

Processus d'analyse des données et prétraitement dans KDD

Par rapport à CRISP-DM, qui prend en compte l'ensemble du projet d'analyse de données en entreprise KDD (Knowledge Discovery in Databases) préconisé par Fayyad et al. Nous nous concentrons davantage sur la partie analyse des données. Le schéma du processus KDD est le suivant.

image.png

image.png

Recommended Posts

Python: prétraitement dans l'apprentissage automatique: présentation
Python: prétraitement dans l'apprentissage automatique: conversion de données
Prétraitement dans l'apprentissage automatique 2 Acquisition de données
Prétraitement dans l'apprentissage automatique 4 Conversion de données
[python] Techniques souvent utilisées dans l'apprentissage automatique
[Python] Enregistrement des résultats d'apprentissage (modèles) dans l'apprentissage automatique
Prétraitement dans l'apprentissage automatique 1 Processus d'analyse des données
Micro service avec Python (présentation)
[Python] Analyse de données, pratique du machine learning (Kaggle) -Prétraitement des données-
Touchons une partie de l'apprentissage automatique avec Python
J'ai commencé l'apprentissage automatique avec le prétraitement des données Python
Python: prétraitement en machine learning: gestion des données manquantes / aberrantes / déséquilibrées
Prétraitement japonais pour l'apprentissage automatique
Apprentissage automatique dans Delemas (s'entraîner)
Programmation Python Machine Learning> Mots-clés
Utilisé en EDA pour l'apprentissage automatique
Commencer avec l'apprentissage automatique Python
Créez un environnement interactif pour l'apprentissage automatique avec Python
Outil MALSS (application) qui prend en charge l'apprentissage automatique en Python
Défis d'apprentissage automatique de Coursera en Python: ex2 (retour logistique)
Outil MALSS (basique) qui prend en charge l'apprentissage automatique en Python
Coursera Machine Learning Challenge en Python: ex1 (régression linéaire)
Tentative d'inclusion du modèle d'apprentissage automatique dans le package python
MALSS (introduction), un outil qui prend en charge l'apprentissage automatique en Python
Mettre en œuvre l'apprentissage de l'empilement en Python [Kaggle]
Le résultat de l'apprentissage automatique des ingénieurs Java avec Python www
Apprentissage automatique par python (1) Classification générale
Résumé de l'apprentissage automatique par les débutants de Python
Automatisez les tâches de routine dans l'apprentissage automatique
Règles d'apprentissage Widrow-Hoff implémentées en Python
Classification et régression dans l'apprentissage automatique
Apprentissage automatique
Prétraitement dans l'apprentissage automatique 3 Données de valeur manquante / aberrante / de déséquilibre
apprentissage de python
Apprentissage automatique dans Delemas (acquisition de données)
Défis d'apprentissage automatique de Coursera en Python: ex7-2 (analyse principale)
Implémentation des règles d'apprentissage Perceptron en Python
Recherche de semences aléatoires dans l'apprentissage automatique
Mémo d'apprentissage "Scraping & Machine Learning avec Python"
Que diriez-vous d'Anaconda pour créer un environnement d'apprentissage automatique avec Python?
Défis de Coursera Machine Learning en Python: ex5 (ajustement des paramètres de régularisation)
Mémo d'étude Python & Machine Learning: Préparation de l'environnement
Remarques sur la grammaire Python de l'apprentissage automatique PyQ
Amplifiez les images pour l'apprentissage automatique avec Python
Utiliser le groupe d'API d'apprentissage automatique A3RT de Python
Apprentissage automatique avec python (2) Analyse de régression simple
J'ai installé Python 3.5.1 pour étudier l'apprentissage automatique
Pourquoi Python est choisi pour l'apprentissage automatique
Note récapitulative sur la programmation d'apprentissage automatique Python (Jupyter)
[Shakyo] Rencontre avec Python pour l'apprentissage automatique
[Python] Première analyse de données / apprentissage automatique (Kaggle)
[Python] Lorsqu'un amateur commence l'apprentissage automatique
[Python] Conception d'applications Web pour l'apprentissage automatique
Créer un environnement pour Python et l'apprentissage automatique (macOS)
Une introduction à Python pour l'apprentissage automatique
Mémo d'étude Python & Machine Learning ③: Réseau neuronal
Mémo d'étude Python & Machine Learning ④: Machine Learning par rétro-propagation
Mémo d'étude Python & Machine Learning ⑥: Reconnaissance des nombres
Construction d'environnement AI / Machine Learning avec Python
Coursera Machine Learning Challenge en Python: ex6 (Comment ajuster les paramètres SVM)
Quadtree en Python --2