[PYTHON] Connaissances et méthodes d'étude requises pour les futurs analystes de données

Public cible et contenu de l'article

Le public cible de cet article est celui qui va analyser les données sur le comportement des utilisateurs et les ventes des entreprises, et les chercheurs qui doivent faire une petite analyse de données gênante à voir avec Excel.

Contexte du besoin d'analystes de données «approfondis»

Ces dernières années, il est devenu extrêmement important pour les entreprises informatiques d'analyser les données et de les utiliser pour améliorer l'interface utilisateur et l'expérience utilisateur en détail et mettre en œuvre des mesures de piratage de croissance. Même dans la recherche universitaire, il devient impossible de se différencier des autres chercheurs sans utiliser pleinement l'analyse avancée des données.

Par conséquent, dans cet article, je voudrais écrire sur la capacité d'analyse des données et la méthode d'étude nécessaires à l'avenir pour les débutants en analyse / programmation de données qui souhaitent effectuer une analyse de données à l'avenir.

Quelle est la capacité requise d'un analyste de données?

  1. Capacité de pensée logique de voir correctement les données
  2. Méthodes analytiques avancées telles que les statistiques et l'apprentissage automatique
  3. Capacité de programmation de formater et d'agréger les données
  4. Capacité de conception à planifier le développement de produits et les expériences en prévision de l'analyse des données

Pour être un analyste de valeur de premier ordre, vous avez besoin de toutes les capacités ci-dessus, Le plus important de ce qui précède est le but de cet article, qui est 4 "Capacité de conception à planifier le développement de produits et les expériences en prévision de l'analyse des données".

1. Capacité de pensée logique à voir correctement les données et comment les étudier

Quelle est la capacité de pensée logique de voir correctement les données?

C'est assez difficile. Et j'ai l'impression qu'il y a beaucoup de gens qui pensent pouvoir le faire eux-mêmes mais pas de façon inattendue.

Par exemple, lors de l'analyse de l'opportunité d'effectuer ou non l'action A dans l'application contribue au taux de continuation.

  1. Pourcentage de "personnes qui ont pris l'action A et ont continué" et "de personnes qui ne l'ont pas fait"
  2. Pourcentage de "personnes qui ont agi de A" et de "personnes qui ne l'ont pas prise"
  3. Pourcentage de "personnes qui n'ont pas agi de A" et de "personnes qui n'ont pas agi"

Ces significations sont bien sûr différentes, mais quels indicateurs sont importants dans votre analyse? Quel type d'analyse faut-il effectuer lorsque ces valeurs le sont, et quel type de mesures doit-on prendre ensuite?

analysis.jpg

Dans l'exemple ci-dessous, Le "pourcentage de ceux qui ont agi de A et continué" dans 1 était ** suffisamment **, Malgré le fait que le ratio «personnes qui ont agi de A» et «personnes qui ne l'ont pas prise» dans 2 était presque le même. Parce que le "pourcentage de personnes qui n’ont pas fait l’action de A" dans 3 est important, Il vaut peut-être mieux ne pas agir de A.

C'est toujours simple s'il n'y a qu'une seule action, A, mais cela devient soudainement compliqué quand il s'agit d'analyser si oui ou non l'action B a également été effectuée en même temps. Pouvez-vous bien comprendre la situation et réfléchir à des mesures d'amélioration sans vous confondre?

Comment acquérir une capacité de pensée logique pour voir correctement les données

Cela ne peut être appris qu'en examinant divers modèles, en pensant et en discutant avec quelqu'un. Lorsque vous regardez les actualités et divers chiffres au quotidien, il est important de penser par vous-même: "Est-ce vrai?"

il y a un instant, "Les chiffres ne mentent pas, mais les menteurs utilisent les chiffres" Le mot a également été évoqué ...

La capacité de lire la vérité à partir des données et de la logique peut être qualifiée de capacité indispensable pour les gens modernes.

Il est également important de lire un livre comme le troisième et d'améliorer vos compétences en japonais. Les humains manipulent les nombres avec des mots et trompent les gens. Apprenons en profondeur à gérer les nombres et les mots logiques et à survivre à l'ère du Big Data à venir.

2. Méthodes d'analyse avancées telles que les statistiques et l'apprentissage automatique et leurs méthodes d'étude

Quelle est la capacité mathématique à maîtriser les statistiques et l'apprentissage automatique?

La part de cette capacité et de ces connaissances mathématiques dont vous avez besoin dépendra de l'endroit où vous vous trouvez.

Je pense que ce n'est pas nécessaire si vous faites simplement un simple test AB, une analyse de cohorte ou une analyse en entonnoir. En utilisant pleinement ces méthodes d'analyse, il est tout à fait possible d'envisager les mesures de hack de croissance suivantes.

Mais est-il possible de porter un jugement suffisant avec le nombre de données existant? Existe-t-il un moyen approprié de collecter des données afin que vous puissiez prendre une décision suffisamment correcte? Le simple fait de penser à une question un peu plus profonde comme celle-ci nécessite des connaissances statistiques et une compréhension des nombres.

Takeshi Morioka, un spécialiste du marketing connu pour la récupération en forme de V des nouilles USJ et Marugame, Livre ["Théorie stratégique de la pensée stochastique, le pouvoir du marketing mathématique démontré par USJ"](https://www.amazon.co.jp/%E7%A2%BA%E7%8E%87%E6%80%9D % E8% 80% 83% E3% 81% AE% E6% 88% A6% E7% 95% A5% E8% AB% 96-USJ% E3% 81% A7% E3% 82% 82% E5% AE% 9F % E8% A8% BC% E3% 81% 95% E3% 82% 8C% E3% 81% 9F% E6% 95% B0% E5% AD% A6% E3% 83% 9E% E3% 83% BC% E3 % 82% B1% E3% 83% 86% E3% 82% A3% E3% 83% B3% E3% 82% B0% E3% 81% AE% E5% 8A% 9B-% E6% A3% AE% E5% B2% A1-% E6% AF% 85 / dp / 404101422 / ref = sr_1_2_sspa? __Mk_ja_JP =% E3% 82% AB% E3% 82% BF% E3% 82% AB% E3% 83% 8A & mots-clés =% E3% 83 % 9E% E3% 83% BC% E3% 82% B1% E3% 83% 86% E3% 82% A3% E3% 83% B3% E3% 82% B0 +% E7% B5% B1% E8% A8% 88 +% E6% A3% AE% E5% B2 A1% & qid = 1575357645 & s = livres & sr = 1-2-SPONS & psc = 1 & APLS = ZW5jcnlwdGVkUXVhbGlmaWVyPUFTSEpVMTNFMlVLNzgmZW5jcnlwdGVkSWQ9QTA4MDI2NjMyMlZZRVVQSTQ2V1VXJmVuY3J5cHRlZEFkSWQ9QTJQRFpHV0FPMkw3TVQmd2lkZ2V0TmFtZT1zcF9tdGYmYWN0aW9uPWNsaWNrUmVkaXJlY3QmZG9Ob3RMb2dDbGljaz10cnVl) dans, La «pensée mathématique» vise à donner un aperçu plus approfondi du comportement des consommateurs.

De plus, comme nous faisons des affaires dans les temps modernes, une compréhension approfondie de choses comme l'IA et le Deep Learning est essentielle. Malheureusement, beaucoup de gens ont une vision vague de l'IA, et la plupart de ce qu'ils disent est hors de propos.

Pouvez-vous imaginer ce que vous faites lorsque vos concurrents disent: "Utilisez l'IA pour obtenir des données client?" Pouvez-vous dire «Je peux faire ça» et «Je peux utiliser les données pour des choses plus précieuses»?

En fait, vous n'avez pas besoin de beaucoup de capacités mathématiques pour comprendre l'IA. Quiconque se souvient en quelque sorte des mathématiques du secondaire peut le comprendre. DeepLearning_Ueno.jpg

J'aimerais écrire "Introduction à l'IA" dans un autre article.

Comment étudier des méthodes analytiques avancées telles que les statistiques et l'apprentissage automatique

Il n'y a pas d'autre choix que de bouger les mains pour étudier cela. Pour bouger les mains et étudier les statistiques et l'apprentissage automatique, je pense qu'il est plus efficace de faire une programmation simple. Je porte les trois, mais c'est une des raisons pour lesquelles je pense que les analystes devraient également apprendre la programmation. Après tout, il est plus facile de comprendre si vous jouez avec les données et en faites l'expérience.

Encore une fois, cela peut ne pas être nécessaire si vous souhaitez simplement pouvoir faire ce qu'Excel peut faire avec les outils de BI. (Tout d'abord, soyons capables de faire une chose aussi naturelle.)

Mais si quelqu'un s'entraîne, il pourra le faire. Si vous voulez étudier une petite méthode d'analyse avancée qui a une longueur d'avance sur ces analystes, je pense qu'il est préférable d'étudier en bougeant vos mains en utilisant la programmation.

3. Capacité de programmation de formater et d'agréger les données

Avez-vous besoin de compétences en programmation pour formater et agréger des données?

Je pense que le point le plus controversé est de savoir si un analyste doit acquérir des compétences en programmation, et en fait, il y a beaucoup de gens qui disent diverses choses. (Pour être précis, SQL n'est pas un langage de programmation, mais ignorez les distinctions plus fines lol)

Les deux sont corrects et compréhensibles. (Les hypothèses sont également différentes pour chaque article.)

Comme je l'ai mentionné au début, je suis une personne nécessaire. J'expliquerai en détail dans 4, mais pour être plus précis, je pense qu'il est nécessaire de devenir un "analyste qui peut avoir une longueur d'avance sur les autres et créer des produits et des expériences vraiment précieux".

Pour faire simple, il y a plusieurs raisons:

Les outils de BI ne sont en aucun cas polyvalents

Il existe de nombreux outils BI utiles dans le monde. Ces produits sont excellents et d'une grande valeur car ils aident à démocratiser les données. Si toutes les entreprises japonaises maîtrisent les outils de BI et renversent PDCA, l'économie japonaise croîtra à un rythme explosif.

Cependant, il existe actuellement une limite à ce qui peut être fait sans programmation ni SQL. De nombreux outils de BI vous obligent à écrire vos propres requêtes SQL pour l'agrégation et l'intégration des données. En fait, les outils de BI qui prétendent être capables de faire des choses avancées disent en fait: "Vous pouvez écrire et exécuter du code Python en interne".

L'histoire de l'équipe de science des données et de l'écosystème analytique de Mercari D'après cet article

Chez Mercari, de nombreuses personnes peuvent écrire du SQL même pour des emplois non analystes et effectuer elles-mêmes des analyses simples. Récemment, il y a des rumeurs selon lesquelles même le service financier, le service comptable, le service juridique et les concepteurs étudient. (C'est un fait)

Et cela. Tout le monde étudie dur car il doit exécuter SQL pour l'analyser.

Et plus important

Les données ne descendent pas même si j'ouvre la bouche et que j'attends

à propos de ça.

Bien sûr, pour analyser les données, vous devez les collecter. Il n'y a pas besoin d'un analyste travaillant dans une entreprise hyper-tsuyotsuyo qui est super axée sur les données et dispose d'une base d'analyse parfaite. Les débutants qui n'ont pas encore de base analytique, ou les analystes de petites et moyennes entreprises qui n'ont même pas le concept d'analyse, n'ont pas d'autre choix que de collecter les données eux-mêmes.

Planifions l'analyse des données collectées par vous-même, le plan de mesure intelligent, la méthode de vérification après la mise en œuvre de la mesure et l'action suivante. Et obtenez le résultat. C'est la manière la plus simple de montrer l'importance de «parler avec des données».

De plus, le rôle de l'analyste est très important dans la création de l'infrastructure d'analyse des données. Il n'y a pas toujours d'ingénieurs d'infrastructure et d'ingénieurs de bases de données en interne capables d'analyser les données.

Pouvez-vous collecter les données que vous voulez vraiment avec une plateforme d'analyse de données laissée à d'autres et créée par vous-même? Que faites-vous lorsque vous sous-traitez votre infrastructure d'analyse de données et que vous ne pouvez pas faire ce que vous voulez vraiment?

Et, comme je l'expliquerai en détail dans les 4 prochains, je pense que les "futurs" analystes sont nécessaires pour pouvoir discuter de la conception en amont comme le développement de produits et la planification expérimentale avec la direction et les ingénieurs.

L'analyse simple devient de plus en plus automatisée, des outils utiles sortent et les humains ne sont plus nécessaires.

Comment étudier la programmation qui peut formater et agréger des données

Déplaçons nos mains ici aussi.

Le moyen le plus rapide d'étudier est de remplacer ce que vous faites dans Excel par un langage de programmation tel que Python lors de la lecture d'un livre comme celui ci-dessus. Ensuite, regardez le livre, préparez des données textuelles et jouez avec les outils de BI gratuits et SQL. Je le recommande. (Bien que ce soit une méthode d'étude de la programmation, cela demande des choses difficiles pour ceux qui n'ont aucune connaissance en informatique ......... rires)

Et faisons en fait l'analyse qui apparaît dans des livres comme le troisième en Python et SQL!

4. Capacité de conception à planifier le développement de produits et les expériences en prévision de l'analyse des données

** Ce qui est vraiment important, c'est de développer des produits et de planifier des expériences en prévision de l'analyse des données. ** **

Telle est la «conclusion» de cet article.

Importance du développement de produits et de la planification expérimentale en prévision de l'analyse des données

À l'avenir, les outils de BI deviendront de plus en plus pratiques et vous ne pourrez presque rien faire. En fait, n'importe qui peut faire des analyses avancées telles que l'apprentissage automatique.

En outre, l'analyse des données de base sera automatisée et les outils trouveront des indicateurs importants.

Cependant, ce qui est vraiment "important" et difficile, c'est le type d'hypothèse à analyser à l'avenir, le type de suggestions à en tirer et le type de mesures à prendre. ** Conception et expérience du produit Il est important de penser à ** au stade de la planification de.

La raison pour laquelle nous avons décidé d'introduire le nouveau tableau de bord "Looker" avant la sortie du produit Dans cet article, il est indiqué que Melpay avait mis en place une infrastructure d'analyse des données avant la sortie du produit.

En fait, ** aux étapes de la conception du produit et de la planification des expériences **, si vous ne pensez pas à l'analyse des données, vous risquez de ne pas obtenir les données souhaitées ou les résultats de l'analyse peuvent ne pas être fiables. .. Par exemple, quel type de journal est nécessaire pour analyser les données souhaitées? Même si vous faites un test AB, vous devez penser à combien de temps il est approprié de le faire pour combien de personnes.

Il faudra un peu plus de temps pour être automatisé à ce stade.

C'est pourquoi, à l'ère actuelle où les données se démocratisent, nous pensons que nous avons vraiment besoin d'un «analyste» et d'un «concepteur» qui connaît non seulement la force physique de base de l'analyse des données et des affaires, mais aussi la collecte de données et le développement de produits. ..

Comment étudier le développement de produits et la planification expérimentale en prévision de l'analyse des données

Après tout, c'est aussi pratiqué lol De nombreuses startups améliorent progressivement leur infrastructure d'analyse de données, mais manquent d'analystes de données de couche supérieure.

Pour le dire autrement, la plupart des startups qui ont obtenu des résultats et prévoient de se développer rapidement à partir de maintenant sont des analystes qui "peuvent analyser à partir de la mise en forme et de la collecte des données par une seule personne, prendre des mesures en fonction des résultats de l'analyse et élaborer un plan PDCA" Je cherche.

Dans une telle entreprise, j'obtiens les résultats par moi-même. Impliquez différentes personnes et exécutez le cycle PDCA. Si vous pouvez devenir un tel analyste, vous pourrez ajouter de la valeur où que vous soyez.

Si vous avez effectué une analyse simple des données de marketing ou de croissance, il est conseillé d'améliorer vos compétences en ingénierie de la manière décrite dans cet article. Ce serait bien si la personne qui travaille actuellement en tant que PM passe par l'analyse des données.

Devenez un homme d'analyse de données, aidez vos débuts d'analyse de données environnantes et créez un parlinai avec des données! !!

Recommended Posts

Connaissances et méthodes d'étude requises pour les futurs analystes de données
Méthodes de traitement des données pour les ingénieurs mécaniciens et les ingénieurs non informaticiens (Introduction 2)
Méthodes de traitement des données pour les ingénieurs mécaniciens et les ingénieurs non informaticiens (Introduction 1)
Extraits de code VS pour les analystes de données
Paramètres initiaux Mac (pour les analystes de données)
Techniques Python détaillées requises pour la mise en forme des données (1)
Techniques Python détaillées requises pour la mise en forme des données (2)
[Programmation de compétition] [Python3] Connaissances nécessaires, pour vous-même
Lissage des séries temporelles et des données de forme d'onde 3 méthodes (lissage)