[PYTHON] Visualisieren Sie Zahlenschwankungen auf Websites mit Datadog

Einführung

[Agent Check](http: // docs.) Zum Erfassen der auf der Website veröffentlichten numerischen Werte mit Web Scraping und zum Visualisieren mit Datadog. Ich habe datadoghq.com/ja/guides/agent_checks/) erstellt.

https://github.com/mounemoi/datadog-web-scraper

Datadog ist ein Cloud-Dienst zur Serverüberwachung. Sie können jedoch Ihren eigenen Agent Check und benutzerdefinierte Metriken verwenden, um verschiedene benutzerdefinierte Nummern zu überwachen. Mit dieser Funktion werden die durch Web Scraping erfassten numerischen Werte in Datadog importiert und mit den verschiedenen Grafikzeichnungsfunktionen von Datadog visualisiert.

Akquisitionsmuster

Ich habe einige Proben mit diesem Agent Check gemacht.

1. Änderungen in der Gesamtzahl der Seiten auf Wikipedia

Ich habe die Gesamtzahl der Seiten in Wikipedia ermittelt und die Fluktuation mit Datadog grafisch dargestellt. Die Grafik zeigt, wie viele Seiten sich seit einem Tag geändert haben. (Die Berechnung dieses Startpunkts wird von Datadog durchgeführt.)

Dieser Wert wird durch Web Scraping aus dem folgenden numerischen Teil von Wikipedia Top Page ermittelt.

Wenn Sie sich das Diagramm ansehen, sehen Sie, dass die Anzahl der Seiten linear zunimmt. Es sind ungefähr 900 Seiten pro Tag. Es ist unglaublich.

2. Änderungen in der Anzahl der Angebote in der Auktion

Dies ist die Anzahl der Angebote in einer bestimmten Kategorie auf einer bestimmten Auktionsseite.

Die Anzahl der Einträge nimmt täglich von 21:00 bis 24:00 Uhr ab. Der Tag ganz rechts ist Sonntagabend. Immerhin ist die Auktion kurz vor dem Ende am aufregendsten. Gibt es also viele Verkäufer, die die Endzeit nach der Zeit festlegen, die jeder oft sieht? (Der Ursprung der y-Achse wird so angepasst, dass die numerische Änderung leicht zu verstehen ist. Dies erfolgt auch über die Funktion von Datadog.)

3. Windgeschwindigkeit in Tokio

Ich habe versucht, die Windgeschwindigkeit von Tokio von der Website zu ermitteln, auf der Amedas Informationen verbreitet werden. Ich sehe oft Diagramme, die Temperaturänderungen zeigen, deshalb wage ich es, die Windgeschwindigkeit zu verwenden.

(Um das Verständnis der Änderung gegenüber dem Vortag zu erleichtern, wird der Zahlenwert (schwarze Linie) zur gleichen Zeit am Vortag zur gleichen Zeit angezeigt. Dies ist auch eine Funktion von Datadog.)

Am Morgen zuvor hat es geregnet, daher scheint auch die Windgeschwindigkeit stark zu sein. Wir haben auch festgestellt, dass diese Distributionsseite die Informationen stündlich aktualisiert.

Sie können auch die Funktionen und die Integration von Datadog kombinieren, um "Preisschwankungen auf EC-Standorten aufzuzeichnen und den Durchhang zu melden, wenn ein bestimmter Geldbetrag erreicht ist".

So installieren und konfigurieren Sie Agent Check

Informationen zur Installationsmethode und zur Angabe des von Web Scraping zu erfassenden Werts finden Sie unter README.ja.md. Es ist in md) beschrieben.

Zur Verwendung benötigen Sie ein Datadog-Konto und einen Server, auf dem der Datadog-Agent installiert ist.

Beachten Sie, dass dieser Agent Check Web Scraping einfach HTML abruft, sodass Sie den von JavaScript gezeichneten Wert oder den Wert der Seite, für die eine Anmeldung erforderlich ist, nicht abrufen können.

Zusammenfassung

Datadog kann mithilfe von Agent Check und SDK verschiedene Zahlen mit benutzerdefinierten Metriken abrufen. Mit dieser Funktion ist es möglich, andere Informationen als die Serverüberwachung zu visualisieren, z. B. Nutzungsinformationen von Diensten, die auf dem Server ausgeführt werden. Ich habe dies jedoch als Übung erstellt.

Da Agent Check in Python geschrieben ist, dachte ich, dass es für Python-Entwickler einfach sein würde, damit auszukommen.

Datadog ist interessant.