[PYTHON] Visualisez les fluctuations des nombres sur les sites Web avec Datadog

introduction

[Agent Check](http: // docs.) Pour acquérir les valeurs numériques publiées sur le site Web avec Web Scraping et les visualiser à l'aide de Datadog. J'ai créé datadoghq.com/ja/guides/agent_checks/).

https://github.com/mounemoi/datadog-web-scraper

Datadog est un service cloud de surveillance de serveur, mais vous pouvez utiliser votre propre vérification d'agent et des métriques personnalisées pour surveiller divers numéros spécifiés par l'utilisateur. Grâce à cette fonction, les valeurs numériques acquises par Web Scraping sont importées dans Datadog et visualisées avec les différentes fonctions de dessin de graphiques de Datadog.

Échantillon d'acquisition

J'ai fait quelques échantillons en utilisant cette vérification d'agent.

1. Modifications du nombre total de pages sur Wikipedia

J'ai obtenu le nombre total de pages dans Wikipedia et ai tracé la fluctuation avec Datadog. Le graphique montre combien de pages ont changé depuis un jour. (Le calcul de ce point de départ est effectué par Datadog)

Cette valeur est obtenue par Web Scraping à partir de la partie numérique suivante de Wikipedia Top Page.

En regardant le graphique, vous pouvez voir que le nombre de pages augmente linéairement. C'est environ 900 pages par jour. C'est étonnant.

2. Modifications du nombre d'annonces dans l'enchère

Il s'agit du nombre d'annonces dans une certaine catégorie sur un certain site d'enchères.

Le nombre d'annonces diminue chaque jour de 21h00 à 24h00. Le jour à l'extrême droite est dimanche soir. Après tout, l'enchère est la plus excitante juste avant la fin, alors y a-t-il beaucoup de vendeurs qui fixent l'heure de fin en fonction de l'heure que tout le monde voit souvent? (L'origine de l'axe des y est ajustée pour que le changement numérique soit facile à comprendre. Ceci est également fait par la fonction de Datadog)

3. Vitesse du vent à Tokyo

C'est le site qui distribue les informations Amedas, j'ai essayé d'obtenir la vitesse du vent de Tokyo. Je vois souvent des graphiques montrant les changements de température, alors j'ose utiliser la vitesse du vent.

(Pour faciliter la compréhension du changement par rapport au jour précédent, la valeur numérique (ligne noire) à la même heure le jour précédent est affichée à la même heure. Ceci est également une fonction de Datadog)

Il pleuvait la veille, il semble donc que la vitesse du vent était également forte. Nous avons également constaté que ce site de distribution met à jour les informations toutes les heures.

Vous pouvez également combiner les fonctionnalités et l'intégration de Datadog pour «enregistrer les fluctuations de prix sur les sites EC et notifier Slack lorsqu'un certain montant est atteint».

Comment installer et configurer Agent Check

Pour la méthode d'installation et la méthode de spécification de la valeur à acquérir par Web Scraping, voir [README.ja.md](https://github.com/mounemoi/datadog-web-scraper/blob/master/README.ja. Il est décrit dans md).

Pour l'utiliser, vous avez besoin d'un compte Datadog et d'un serveur avec l'Agent Datadog installé.

Notez que cet agent Check Web Scraping GET simplement le HTML, vous ne pouvez donc pas obtenir la valeur dessinée par JavaScript ou la valeur de la page qui nécessite une connexion.

Résumé

Datadog peut obtenir différents nombres avec des métriques personnalisées en utilisant Agent Check et SDK. Avec cette fonction, il est possible de visualiser d'autres informations que la surveillance du serveur, telles que les informations d'utilisation des services exécutés sur le serveur, mais je l'ai fait comme une pratique.

De plus, étant donné que l'agent Check est écrit en python, j'ai pensé qu'il serait facile pour les développeurs python de s'entendre.

Datadog est intéressant.