[PYTHON] Vous serez ingénieur dans 100 jours ――Jour 77 ――Programmation ――À propos de l'apprentissage automatique 2

Cliquez ici jusqu'à hier

Cette fois, c'est une continuation de l'histoire de l'apprentissage automatique.

À propos du flux de l'apprentissage automatique

Depuis que je l'ai fait la dernière fois, j'ai fait à peu près ce que je pouvais et ce que je pouvais faire. Aujourd'hui, je voudrais faire ce que je devrais faire spécifiquement.

Tout d'abord, parlons du flux de l'apprentissage automatique. Je vais expliquer quel type de procédure est utilisé pour l'apprentissage automatique en entreprise.

Le flux de travail lors de l'intégration de l'apprentissage automatique est le suivant.

Décidez de l'objectif
Acquisition de données
Compréhension / sélection / traitement des données
Création d'un magasin de données (ensemble de données)
Création de modèles
Vérification de l'exactitude
Mise en œuvre du système

Regardons le contenu spécifique.

0. Décidez de l'objectif

Je pense que c'est l'endroit le plus important. À quoi sert le machine learning et ce que vous voulez faire Décidez du but.

La seule chose que vous pouvez faire avec l'apprentissage automatique est la «prédiction».

Cette prédiction Return: prédire les valeurs numériques Catégorie: prédire des catégories telles que les hommes et les femmes «Clustering»: diviser en bons sentiments

Vous ne pouvez faire que trois choses.

Tout d'abord, nous devons décider de ce qu'il faut prédire aux fins de l'apprentissage automatique.

Un bon exemple est: Je veux réduire le taux de retrait de l'utilisateur, donc je veux prédire le «taux de retrait de l'utilisateur». Je veux augmenter les ventes, donc je veux prédire si l'utilisateur achètera.

Prédire le «XX» qui y mène pour «〇〇» Je pense que ce serait la bonne façon d'introduire l'apprentissage automatique.

Fondamentalement «Ventes» et «Bénéfice» Je pense que si c'est directement connecté ici.

Je ne sais pas si ça mènera à ici, quelque chose qui est difficile à juger Cela signifie que ce n'est pas une bonne idée de le laisser être l'apprentissage automatique.

En premier lieu, dans l'apprentissage automatique, le travail qui suit demande beaucoup de travail. Cela coûte beaucoup d'argent.

Le coût de développement est estimé à 30 millions de yens, mais il n'y a pratiquement aucun profit à générer. Si tel est le cas, il est sage de décider de ne pas le faire car il est inutile de le faire.

Je souhaite vérifier sa précision si je fais du machine learning. C'est acceptable.

Si l'expérience fonctionne ou non jusqu'à la vérification en tant que POC Si l'objectif est lâche, vous pouvez utiliser le résultat de la vérification en conséquence. Je pense que c'est peut-être à des fins de vérification.

La plupart du temps, vous jetez simplement votre argent.

1. Acquisition de données

Une fois l'objectif décidé, il est nécessaire de créer les données en conséquence.

Si vous avez déjà acquis les données et que vous souhaitez les utiliser, envoyez et recevez simplement les données Très peu de mots.

Cependant, il n'y a pas encore de données et il sera difficile de commencer à acquérir des données à partir de maintenant. Assurez-vous de concevoir les données pour voir quel type de données fonctionnera. Il faut commencer par créer un mécanisme qui nous permette d'acquérir des données sans excès ni insuffisance.

Tout ce que vous avez à faire est de vérifier si vos clients et eux-mêmes disposent des bonnes données et, le cas échéant, de décider comment envoyer et recevoir les données. S'il n'y a pas de données, c'est de l'examen de conception de l'acquisition de données.

En ce qui concerne l'envoi et la réception de données, vous pouvez les recevoir sur disque dur ou SSD, ou vous pouvez les recevoir via le stockage en nuage. Je pense que c'est principalement via le stockage en nuage de nos jours.

2. Compréhension / sélection / traitement des données

Il s'agit du pré-processus de ce que l'on appelle le "prétraitement des données".

De quel type de données disposez-vous, de quel type de ratio de composition des données et de quelle quantité? Nous effectuons un traitement d'agrégation de base tel que, analysons et visualisons les données.

Lorsqu'il s'agit de données volumineuses, il faut plusieurs jours pour saisir les données, mais si vous ne comprenez pas correctement les caractéristiques des données ici, le travail va et vient. 3. Création d'un magasin de données (ensemble de données) Maintenant, créons des données pour l'apprentissage automatique à partir d'ici. Après avoir réduit les données candidates pouvant être utilisées dans une certaine mesure, nous rendrons les données utilisables pour l'apprentissage automatique. Seules les données tabulaires pouvant être utilisées pour l'apprentissage automatique doivent être regroupées.

L'apprentissage automatique supervisé nécessite des données pour la «variable explicative» à utiliser pour l'apprentissage et «l'étiquette de réponse correcte» pour représenter la réponse correcte.

Il est nécessaire de traiter la partie qui dit ce que vous voulez prédire dans une colonne de «étiquettes de réponse correcte».

De plus, toutes les données utilisées comme «variables explicatives» doivent être converties en valeurs numériques.

Le travail ici est le processus de prétraitement des données.

Il existe peu de projets d'apprentissage automatique qui ont des données assez propres. Il y a peu de données qui ne nécessitent presque aucun prétraitement À moins qu'il ne soit conçu pour collecter des données proprement au stade de l'acquisition de données Le temps est passé à traiter les données.

Dans l'apprentissage automatique, nous combinerons les données dans un format tabulaire. S'il existe de nombreux types de données, il est nécessaire de trouver des moyens de les rassembler.

Habituellement, vous vous retrouverez avec des milliers à des dizaines de milliers de colonnes de données.

Quant au nombre de lignes, il varie considérablement selon le type d'activité et le mécanisme d'acquisition des données. Ne vous inquiétez pas trop, mais si vous avez un petit nombre de lignes Cela peut affecter la précision.

À la suite du prétraitement, il y a 2 millions de lignes qui peuvent être utilisées 20 lignes Ensuite, il y a une différence de précision.

4. Création de modèles

La création d'un modèle ne demande pas beaucoup d'efforts. Même si vous fabriquez de nombreux modèles, tous les modèles ne seront pas utilisés.

Tout ce que vous avez à faire est de créer un modèle précis et utilisable.

Vous devez essayer de nombreuses techniques pour créer un modèle Si vous le faites dans une certaine mesure, il sera décidé que cette méthode est bonne, et si vous sélectionnez la méthode mécaniquement, vous n'avez qu'à essayer 10 types de méthodes à la fois et attendre le résultat, donc cela demande beaucoup d'efforts. ne pas.

Pour des services comme DataRobot si vous avez les données sous la main Il créera automatiquement divers modèles en utilisant ces données.

Créer un modèle est désormais très simple et ne prend pas beaucoup de temps Il s'agit d'une part relativement petite en termes d'effort d'apprentissage automatique.

5. Vérification de l'exactitude

Ce sera fait comme un ensemble avec création de modèle, mais nous le ferons tout en vérifiant sa précision après avoir fait un modèle.

Il existe plusieurs méthodes de vérification de l'exactitude, mais en général, nous examinerons le degré d '«erreur».

Puisque «celui avec le moins d'erreur» est considéré comme un bon modèle, je pense que les modèles seront disposés dans l'ordre de la moindre erreur, et finalement l'un des modèles avec la plus grande précision sera adopté.

Jusqu'à ce qu'un bon flux d'apprentissage automatique soit réalisé

Compréhension / sélection / traitement des données
Création d'un magasin de données (ensemble de données)
Création de modèles
Vérification de l'exactitude

Sera répété, et si la précision est toujours satisfaisante

Acquisition de données

Vous devrez peut-être recommencer.

Un bon modèle ne peut provenir que de bonnes données. Les données inutiles ne sont rien de plus que des ordures.

Il est assez rare qu'un trésor soit mélangé aux données des ordures.

6. Mise en œuvre du système

Lorsque les données ont été préparées et que la précision est jugée raisonnable, nous incorporerons enfin le modèle dans le système.

Généralement, s'il s'agit d'un service WEB, il est incorporé de manière à être fourni dans le cadre de la fonction sur le côté arrière.

Ce sera une forme de construction d'un système tout en considérant comment le faire fonctionner et combien cela coûtera, ainsi que les exigences du système.

Il s’agit d’un service de machine learning pour AWS sagemaker. Certains d'entre eux seront immédiatement disponibles en tant que terminaux. L'utilisation d'un tel service réduira le nombre d'unités du côté du montage.

Résumé

Après avoir appris ce que vous pouvez faire avec l'apprentissage automatique, c'est une bonne idée d'apprendre ce qu'il faut faire pour faire l'apprentissage automatique.

Le flux général est le même, donc je pense qu'il est préférable de se référer aux méthodes de diverses entreprises.

23 jours avant de devenir ingénieur

Informations sur l'auteur

HP d'Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython