[PYTHON] Comment utiliser l'apprentissage automatique pour le travail? 02_Aperçu du projet de développement AI

introduction

J'écris une série sur le thème "Comment utiliser l'apprentissage automatique pour le travail". Dans ce deuxième article, je vais expliquer comment le projet de développement d'IA se déroulera.

Les chapitres sont les suivants.

―― Quelle est la différence entre le développement de l'IA et l'apprentissage automatique?

• Vue d'ensemble du développement de l'IA ―― Où utilisez-vous l'apprentissage automatique dans le développement de l'IA? --Procédures de construction d'un modèle

Qu'est-ce que l'apprentissage automatique? Si vous pensez que votre compréhension de est suspecte, veuillez également lire "Partie 1: Comprendre le but de l'apprentissage automatique".

Quelle est la différence entre le développement de l'IA et l'apprentissage automatique?

Comme je l'ai présenté dans Partie 1: Comprendre le but de l'apprentissage automatique, il existe une relation complète «AI> apprentissage automatique». Plus précisément, il sera positionné comme ** utilisant la technologie d'apprentissage automatique tout en faisant progresser le développement de l'IA **.

(Source: https://rikei-danshi.work/entry/ai-chigai)

Vue d'ensemble du développement de l'IA

Le développement de l'IA est organisé dans la figure ci-dessous, mais nous allons procéder au processus de «planification-PoC-développement-opération».

• Planification: clarifiez ce que vous voulez faire avec l'IA --PoC: L'IA prévue est-elle techniquement réalisable? Le projet est-il rentable? Vérifier --Développement: Construisez un «modèle» qui est le cœur de l'IA et implémentez-le dans le système --Opération: Effectuer la maintenance et le fonctionnement afin que le système développé fonctionne de manière stable.

Où utiliser l'apprentissage automatique?

Maintenant que vous avez un aperçu du processus global de développement de l'IA, réfléchissons à l'utilisation de l'apprentissage automatique. La réponse est d'utiliser l'apprentissage automatique dans le «PoC» et le «développement».

Le «modèle» illustré sur la figure est l'IA elle-même, et des compétences d'apprentissage automatique sont nécessaires pour créer un bon modèle. Pour ceux qui ont oublié ce qu'est un modèle, veuillez vous reporter à "Partie 1: Comprendre l'objectif de l'apprentissage automatique".

Étapes pour créer un modèle

Pour maîtriser l'apprentissage automatique, vous avez besoin de trois compétences principales. Une programmation spécifique sera organisée dans la partie 3. Tout d'abord, ne comprenons que la vue d'ensemble cette fois.

• Prétraitement des données
• Apprentissage de modèles --Validation du modèle

Prétraitement des données

Le but du prétraitement des données est ** de préparer les données afin que le modèle puisse être formé **.

Plus précisément, nous allons effectuer trois choses, mais en substance, l'analyse principale est la ** «préparation» ** de l'apprentissage automatique. Les articles rédigés par des personnes ayant une expérience pratique sont souvent écrits dans le domaine de la ** science des données ** plutôt que de l '** apprentissage automatique **.

--EDA (Exploratory Data Analysis): saisir la tendance statistique globale des données

• Traitement des données manquantes et aberrantes: suppression des données obstructives à l'origine du bruit, etc.
• Extraction de fonctionnalités: Analysez où ** la loi des données ** apparaît

Apprentissage de modèle

À partir de là, la technologie d'apprentissage automatique apparaîtra pour de bon. Comme présenté dans "Partie 1: Comprendre l'objectif de l'apprentissage automatique" ** Trouver la loi à partir d'une grande quantité de données préparées ** Est le but principal.

La méthode d'apprentissage automatique fournie à cet effet est ** Algorithm **. Si vous le comparez à la cuisine, il sera plus facile d'imaginer si vous pensez à ** "data = ingrédients" ** et ** "algorithm = recette" **.

Si vous cuisinez avec la recette appropriée en fonction des ingrédients, vous pourrez faire de délicieux plats. L'apprentissage automatique est le même que cela, et si vous utilisez un algorithme approprié pour les données, vous pouvez créer un modèle (= bonne IA) avec une bonne précision de prédiction.

Validation du modèle

Après avoir entraîné le modèle, vous avez besoin d'un ** contrôle des performances ** pour voir la précision des prédictions du modèle.

• Parfois ** AI prédit tout correctement, non? Certaines personnes le confondent avec **, alors assurez-vous de nous indiquer l'importance de la vérification.

Il y a deux choses à faire dans la vérification de ce modèle.

• Concernant la seconde, je vais omettre les détails car il suffit de comprendre en pratique.

• Mesure de la précision de la prédiction: Lorsque je lis le livre de référence, diverses explications difficiles (méthode d'exclusion, vérification des intersections, etc.) sont introduites. ** Essayez-le et vérifiez si vous pouvez le prédire correctement **.
• Considérez la maintenabilité continue du modèle: Je vais l'omettre car le contenu sera profond, mais si vous êtes intéressé, veuillez lire Réapprendre le modèle.

à la fin

Dans le prochain article, j'organiserai la procédure de mise en œuvre concrète du prétraitement-apprentissage-vérification basée sur le langage de programmation Python. Veuillez l'attendre car il couvre et organise une série de méthodes de programmation et de méthodes d'étude spécifiques.

De plus, diverses informations sont également publiées sur SNS, donc si vous pensez que vous pouvez lire l'article Je vous serais reconnaissant de bien vouloir suivre Compte Twitter "Saku731".

~~ De plus, à la fin de la phrase, nous faisons "** Team Development Experience Project **" pour une durée limitée. ~~ ~~ Si vous êtes intéressé, veuillez consulter [Fiche de candidature] pour plus de détails. ~~ (Une addition) La date limite a été fermée car elle est pleine. La prochaine fois est prévue pour mars 2019, donc si vous souhaitez être informé, veuillez remplir le [Formulaire de réservation].

Jusqu'à la fin Merci d'avoir lu.