[PYTHON] Prétraitement dans l'apprentissage automatique 1 Processus d'analyse des données

Aidemy　2020/10/29

introduction

Bonjour, c'est Yope! Bien que ce soit un système littéraire croustillant, j'étais intéressé par les possibilités de l'IA, alors je suis allé à l'école spécialisée en IA "Aidemy" pour étudier. Je voudrais partager les connaissances acquises ici avec vous, et je les ai résumées dans Qiita. Je suis très heureux que de nombreuses personnes aient lu l'article de synthèse précédent. Merci! Ceci est le premier article de prétraitement pour l'apprentissage automatique. Ravi de vous rencontrer.

• Cet article est un résumé de ce que vous avez appris dans "Aidemy" "dans vos propres mots". Il peut contenir des erreurs et des malentendus. Notez s'il vous plaît.

Quoi apprendre cette fois ・ Flux d'analyse des données

Flux d'analyse des données

-En tant que flux (processus) d'analyse des données, CRISP-DM et KDD ont été proposés. CRISP-DM -__ CRISP-DM__ a le processus suivant. ① __ Compréhension commerciale __: Clarifiez les problèmes et ce qu'il faut faire avec l'analyse des données. ② __Compréhension des données __: comprendre si les données peuvent être acquises et analysées. ③ __ Préparation des données __: Formatez les données sous une forme qui peut être utilisée dans la modélisation. ④ __ Modélisation __: appliquez un modèle aux données et analysez-le. ⑤ Evaluation: évaluez si le résultat de l'analyse est suffisant. ⑥ __Apply __: applique réellement les résultats de l'analyse aux problèmes et aux tâches.

-Cependant, ces processus ne sont pas nécessairement à sens unique, et peuvent revenir si nécessaire. ・ Le prétraitement des données apprises cette fois correspond aux (2) et (3) de ce processus.

・ Figure

KDD -__ KDD__ a le processus suivant. ① __ Acquisition de données __: Acquérir des données en définissant des problèmes et des objectifs. ② __Data selection __: Sélectionnez les données à utiliser pour l'analyse (data mining) à partir des données acquises. ③ __Data cleansing __: Effectue un nettoyage des données tel que la suppression des valeurs manquantes et des valeurs aberrantes. ④ __Data conversion __: convertit le format de données nettoyées en un format pouvant être utilisé pour l'exploration de données. ⑤ __Data mining __: effectue des analyses et des apprentissages en effectuant une régression et une classification sur les données converties. ⑥ __ Interprétation / Évaluation __: Interpréter et évaluer le modèle à partir des résultats obtenus par l'exploration de données.

・ Figure

Cette fois, c'est fini. Merci d'avoir lu jusqu'au bout.