[PYTHON] Qiita Job J'ai essayé d'analyser le travail

table des matières

--Contexte --L'acquisition des données

• J'ai regardé les données --Impressions et projets futurs

Contexte

Pendant que je changeais d'emploi, j'étais pris dans la phrase «Félicitations pour avoir changé d'emploi pour 300 000 yens» et je me suis inscrit à Qiita Jobs, mais quand j'ai essayé de l'utiliser, j'ai pensé que les fonctions manquaient un peu.

Je n'ai pas pu préciser le lieu de travail ou je ne connaissais pas le nombre de pages.

Heureusement, j'ai la plupart des informations dont j'ai besoin dans la liste des tâches, et le nombre total de pages n'est que d'environ 20 (obtenues manuellement), j'ai donc décidé de l'obtenir en Python.

Obtenez des données

Le flux général est comme ça.

• Obtenez le contenu au format HTML avec l'URL de la liste des travaux en Python ―― Avec le HTML acquis, créez une belle soupe, analysez les balises, etc. et découpez les parties nécessaires.
• La pièce coupée est convertie en JSON et stockée dans le firestore cloud Firebase.
• D'un autre côté, enregistrez-le localement en tant que fichier csv pour l'analyse de la reprise.

Nous avons obtenu un total de 294 emplois. (Est-ce probablement tout?)

J'ai regardé les données

Les outils que j'ai utilisés étaient Pandas et Tableau.

Une chose que je voudrais dire en premier est que le contenu est désormais créé en fonction du contenu de l'offre d'emploi des emplois Qiita, il ne reflétera donc pas l'offre d'emploi de l'ensemble du secteur informatique, mais ** pour votre référence **.

La première chose qui m'intéressait était le nombre de personnes recrutées par lieu de travail.

Je vois, le nombre d'offres d'emploi à Tokyo a gagné massivement. N'est-il pas nécessaire de restreindre le lieu de travail? Cependant, cela semble un peu gênant pour ceux qui recherchent un emploi local comme U / I turn.

Ensuite, regardons les types de travail par type de travail.

TOP5 était une application Web, un autre ingénieur, un backend, un frontend et un ingénieur d'infrastructure. Je sens que la quantité de travail liée au Web est plus demandée que le travail de développement de smartphone.

De plus, pour voir ce que recherchent les autres ingénieurs, j'ai comparé les ingénieurs back-end et les ingénieurs front-end qui ont des numéros de poste similaires aux balises des postes d'autres ingénieurs.

En conséquence, pour les autres ingénieurs, il y a beaucoup de balises techniques telles que JAVA, C ++, C #, jeux, animation, etc., probablement des systèmes embarqués, développement de jeux, etc.

En passant, si vous résumez les techniques d'utilisation de tous les travaux, vous obtiendrez la carte de résultats suivante.

Enfin, vérifions le revenu annuel moyen par type d'emploi, mais il faut noter ici que le «revenu annuel moyen» est simplement la moyenne des limites supérieure et inférieure du revenu annuel.

En regardant ce chiffre, vous pouvez voir que la fourchette de salaire des ingénieurs d'application Web est large.

Vous pouvez également voir que l'ingénieur back-end a un revenu annuel moyen plus élevé que le front-end et le back-end.

Impressions et projets futurs

Comme c'est la première fois que j'utilise Tableau, je n'ai peut-être pas l'habitude de créer des diagrammes de visualisation, mais j'aimerais l'utiliser à nouveau si j'en ai l'occasion.

Je suis sûr que vous pouvez faire plus avec les données que vous obtenez de Qiita Jobs. Je viens de chercher le contenu des données aujourd'hui, mais à l'avenir

1. Je souhaite utiliser les services AWS pour créer quelque chose qui verra si de nouvelles tâches arrivent dans la catégorie de tâches spécifiée.
2. Cette fois, je n'ai utilisé que les informations qui peuvent être obtenues à partir de la liste, mais je pense qu'elle peut également être utilisée pour l'apprentissage automatique car il y a beaucoup d'informations supplémentaires telles que les compétences essentielles et les conditions de travail dans chaque détail de poste.

De plus, vous pouvez vérifier ce dessin à l'URL suivante. Tableau Public

Merci d'avoir regardé jusqu'à la fin.