[PYTHON] [Connu de façon inattendue? ] Présentation d'une vraie journée dans le département d'analyse des données

introduction

Cet article s'adresse à ceux qui souhaitent travailler en tant qu'analyste de données ou scientifique de données, en particulier dans le département des données d'une entreprise. De plus, de nombreuses personnes qui ne savent pas ** quel type de journée les personnes du service des données de l'entreprise passent **. Je pense que le soi-disant département des données est souvent discret au sein de l'entreprise en raison de la nature du travail, alors je vous serais reconnaissant si vous pouviez profiter de cette occasion pour en savoir plus.

Ce que vous pouvez obtenir de cet article

** ① Vous pouvez connaître le jour réel d'une personne qui gagne sa vie grâce à l'analyse des données ** ** ② Vous serez en mesure de sympathiser avec les inquiétudes des personnes du département data de l'entreprise.

Pourquoi écrire cet article

Avant l'âge de 30 ans, je suis passé d'une industrie non informatique à un analyste de données, mais je ne connaissais pas grand-chose au travail spécifique et aux routines quotidiennes du travail de traitement des données jusqu'à ce que je change de travail.

Bien sûr, si vous recherchez sur Google, vous verrez des articles tels que "Je travaille de cette façon. Le programme quotidien ressemble à ceci" comme cas modèle pour les analystes de données. Je voulais connaître «le contenu spécifique du travail et comment la personne travaille», mais le cas modèle manquait de réalité, donc ce n'était pas très utile.

Ensuite, j'ai eu l'idée que si un analyste de données actif énonce une vraie vie, cela pourrait aider quelqu'un.

Continuons à lire maintenant!

Qu'est-ce qu'un analyste de données en premier lieu?

Un analyste de données est une profession qui se spécialise dans des phases telles que le traitement des données et l'analyse d'état. Nous analysons les Big Data collectées pour découvrir le comportement des utilisateurs, la régularité, les besoins futurs, etc. Après cela, le travail principal de l'analyste de données est de faire une hypothèse, de proposer un moyen de résoudre le problème et de l'utiliser pour améliorer les services fournis. Il incombe également au service des données de sensibiliser l'ensemble de l'entreprise à la valeur de l'utilisation des données et de créer une culture axée sur les données.

En pratique, il y a des jours où nous ne faisons qu'agréger, d'autres où nous créons simplement des tableaux de bord, et parfois nous faisons de la modélisation d'apprentissage automatique.

Alors, quel genre de journée passez-vous réellement? Je voudrais vous présenter une journée d'un certain analyste de données.

Un jour d'un certain analyste de données

08h30 Trajet

Lorsque vous vous sentez à l'aise, il est temps de lire. Les jours où je n'en ai pas les moyens, je vais travailler tout en écoutant de la musique. Le contrôle SNS est le minimum nécessaire. Si vous mettez beaucoup d'informations dans votre tête ici, cela rendra votre travail inefficace le matin, alors soyez prudent.

09h00 confirmation de notification de mou

Recherchez les mises à jour des tables que BigQuery importe quotidiennement. Chaque jour, le succès ou l'échec de la mise à jour de la table est notifié par slack, et en cas d'échec, la mention volera. "Aucune anomalie aujourd'hui!" Dans le cas peu probable où la mise à jour de la table échoue, nous en rechercherons immédiatement la cause. Dans ce cas, le programme de la journée change, donc je suis ravi. Par conséquent, c'est ma routine quotidienne de vérifier avant d'aller travailler.

10:00 Vérifier le tableau de bord SLO

C'est le travail que je fais le matin. Vérifiez le tableau de bord slo.

SLO fait référence à la justification / valeur cible selon laquelle un fournisseur de services peut réellement fournir un service à un utilisateur.

Aujourd'hui, le taux de réussite d'un service était extrêmement faible, j'ai donc décidé de l'étudier.

"D'une manière ou d'une autre, le taux de réussite est très faible aujourd'hui, pourquoi?!"

• SLO: définir des objectifs et des critères d'évaluation pour le niveau de service interne (qualité de service).

11h00 Fête du matin

Puisque mon équipe compte 3 personnes, les 3 personnes habituelles vérifient les tâches de l'équipe en une journée. Tout d'abord, dites qu'il y avait une valeur anormale sur le tableau de bord. Le chef d'équipe relèvera du manager actuel. Soit dit en passant, le contenu commercial d'aujourd'hui est ① Enquête sur les valeurs aberrantes du tableau de bord (2) Création d'un ensemble de données pour l'analyse (tâche principale d'aujourd'hui) ③ Réunion du sein pour la planification des politiques "Je dois terminer la haute priorité ① dès que possible. Puisque l'ensemble de données à analyser est celui qui écrit la requête, faisons-le dans l'après-midi."

11h30 Enquête sur les valeurs aberrantes du tableau de bord

Recherchez les raisons pour lesquelles des valeurs aberrantes sur le tableau de bord se produisent. Je vais enquêter en appuyant sérieusement sur la requête. Après avoir enquêté pendant environ 30 minutes, il s'est avéré que le nombre était 0 uniquement pour une version spécifique d'un service spécifique. Immédiatement après confirmation avec le service concerné, il a été dit qu'il y avait un changement récent dans les spécifications des données de journal. Puisque la cause a été identifiée, nous avons résumé la politique d'intervention et l'avons signalée au gestionnaire. "Je suis soulagé car la cause peut être identifiée et il y a une perspective de guérison dans l'après-midi."

Si vous n'effectuez pas ce genre de maintenance et laissez apparaître les mauvais numéros, vous risquez de perdre la confiance du tableau de bord et progressivement les membres de l'entreprise ne pourront plus le voir. Par conséquent, il est nécessaire de prêter attention à la maintenance et au fonctionnement du tableau de bord.

12h30 Commencer à créer un jeu de données pour l'analyse

Création de jeux de données, qui est la tâche principale d'aujourd'hui. L'ensemble de données d'analyse créé cette fois agrège l'état d'utilisation d'un certain service et est utile pour l'amélioration.

Le contenu du travail n'est qu'une agrégation SQL de BigQuery, mais c'est une tâche très lourde car il y a environ 20 éléments d'agrégation. Si vous faites une erreur dans ce tableau, cela affectera l'analyse ultérieure, alors procédez avec prudence. Il y a beaucoup de choses à penser quand il s'agit de tabuler l'utilisation. Quelle est la définition de l'utilisation? L'agrégation est-elle par utilisateur? Unité de l'appareil? limite de temps? Et si je le réinitialise au milieu?

Après avoir soigneusement vérifié chaque élément et établi un plan de comptage, nous avons pris une pause déjeuner.

14h00

15h00 Réunion de planification de la politique des données

Une réunion au sein de l'équipe de données pour envisager des mesures pour améliorer l'utilisation des services.

Discutez de l'hypothèse et de l'image des mesures. ・ Identification des groupes d'utilisateurs mal utilisés ・ Identification du moment et des facteurs qui réduisent considérablement l'utilisation ・ Organiser la faisabilité, les enjeux et les calendriers des mesures d'amélioration

Je proposerai le résumé au côté commercial la semaine prochaine.

16:00 Créer un ensemble de données pour l'analyse

J'ai fait un plan d'agrégation le matin, donc j'écris juste du SQL.

Plus le contenu d'agrégation est compliqué, plus il est nécessaire de le faire un par un, par exemple si la logique d'agrégation est appropriée, si les valeurs numériques agrégées sont correctes et s'il y a des omissions dans la méthode de vérification.

18:00 Examen de l'ensemble de données

Nous prévoyons que le chef d'équipe l'examine, et s'il n'y a pas de problème, nous prévoyons de visualiser l'état d'utilisation agrégé sur un tableau de bord à l'aide des outils de BI. Cette fois, j'ai trouvé une omission dans la logique d'agrégation à un endroit, donc je l'ai corrigée sur place. Quand j'ai vérifié le journal brut, c'était parce que je ne pouvais pas considérer le motif irrégulier. Même s'il s'agit d'un examen, c'est un super-remords pour le tabulateur parce qu'il est sorti lorsqu'il n'a pas été tabulé correctement. .. .. C'est la même chose que le chef du restaurant ne le fait pas selon la recette. Si vous comparez le cas d'une erreur fatale à la cuisine, je travaille en disant à mon cœur que l'endroit où le sucre doit être ajouté pour faire des bonbons est au même niveau que l'ajout de sel par erreur (honnêtement, c'est tout Je n'ai pas).

19h00 Mise à jour de l'outil de gestion des tâches pour le progrès de l'entreprise.

L'avancement du travail est visualisé à l'aide d'un outil de gestion des tâches afin qu'il puisse être partagé au sein de l'équipe. Pour les gens comme moi d'autres industries, c'est un système qui fait date. Quand j'étais encore dans le secteur de l'éducation il y a trois ans, je m'ennuie de le gérer avec un énorme tableau blanc.

19:15 Fin des affaires

Demain, je prévois de l'analyser avec python et pandas sur la base de l'ensemble de données créé aujourd'hui.

Résumé

Quand je coupe une journée comme celle-ci, je suis souvent submergé par le travail devant moi, mais dans mon cas, le département des données est requis par l'entreprise. ** ① Utilisez les données pour créer de la valeur ** ** ② Favoriser une culture basée sur les données ** Je pense que c'est.

Si vous avez l'image de vous amuser là-bas, je pense que vous pouvez travailler dans le département des données avec un sentiment de satisfaction.

Comme mentionné ci-dessus, j'espère que cela sera utile pour ceux qui essaient de devenir analyste de données.