[PYTHON] Die Geschichte von soracom_exporter (Ich habe versucht, SORACOM Air mit Prometheus zu überwachen)

TL; DR

• Sie können jetzt den Sim-Sitzungsstatus von Air mit Prometheus überwachen, indem Sie auf die SORACOM-API klicken.
• Implementiert, damit das Ergebnis des Treffens der API von Prometheus über den Textsammler von node_exporter abgerufen werden kann.
• Es ist nicht die Geschichte von SORACOM, sondern die Geschichte von Prometheus Exporter, die mit dem Textsammler von Node Exporter gemacht wurde ...

Einführung

Wenn Sie ein IoT mit der Sim von SORACOM Air betreiben, müssen Sie es natürlich auch überwachen. Abhängig von der Implementierung werden dann Integritätsinformationen vom Betriebssystem oder der Anwendung in einem IoT gesendet. Wenn der NW jedoch nicht kommuniziert wird, können solche Informationen nicht gesendet werden, und es ist erforderlich, aus der Perspektive zu überwachen, ob der NW lebt oder kommunizieren kann.

Wenn es also ein Problem gibt, wäre es schön, wenn Sie verstehen könnten, was mit der Air-Sim-Sitzung als Überlagerung der Ursache ist. Sehr glücklich. Wenn beispielsweise die Anwendungskommunikation im IoT nicht möglich ist, der Sitzungsstatus jedoch Online ist, liegt anscheinend ein Problem im Betriebssystem oder in der Anwendung im IoT vor. Bei Offline besteht eine hohe Wahrscheinlichkeit, dass außen ein Problem auftritt, z. B. ob das Gerät keinen Strom mehr hat, der Funkwellenzustand vorliegt oder die Antenne nicht defekt ist.

Wenn ich Prometheus als Überwachungsumgebung verwende, möchte ich daher Luftinformationen von der SORACOM-API abrufen, in Prometheus ablegen, überspringen, um sie zu lockern, oder sie mit grafana visualisieren.

Implementierung

--soracom_exporter.py (erstellt mit Python, später beschrieben) --Striking der SORACOM-API

• Speichern Sie Metriken als Text unter / hoge / node_exporter / text_collector
• Dies ist ein Prometheus-Python-Client mit Funktionen, die im Voraus vorbereitet wurden, sodass Sie den gesamten Prozess ausführen können.
• ↑ Metriken jede Minute aktualisieren, wenn der residente Prozess gestartet wird --node_exporter (vorab einfügen)
• Aktivieren Sie das Laden von ↑ Textsammler in der Startoption (später beschrieben).
• Die Metriken unter text_collector werden zusammen mit den OS-Metriken an Prometheus zurückgegeben. --Prometheus (im Voraus eingeben) --Geben Sie node_exporter als Scrape-Job ein --Scraping node_exporter erhält von soracom_exporter generierte Metriken zusammen mit OS-Metriken

So zum Beispiel die folgende Dateistruktur.

/hoge
|-- prometheus
|   |-- prometheus(Binärer Körper)
|   |-- prometheus.yml
|   |-- (verschiedene)
|-- node_exporter(Binärer Körper)
|   |-- node_exporter
|   |-- text_collector
|       |-- soracom_exporter_session_status.prom(Jedes Mal aktualisiert)
|-- soracom_exporter
|   |-- soracom_exporter.py

soracom_exporter.py

• Details werden in den Kommentaren erklärt --Resident Start mit Supervisor etc.
• Der allgemeine Ablauf wird in "export_session_status_metrics" geschrieben

soracom_exporter.py

import json
import logging
import time
import requests
logging.basicConfig(level=logging.DEBUG, format="%(asctime)-15s %(message)s")
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

#Um es zu einem residenten Prozess zu machen und einen Timer auszuführen
# pip install schedule
# cf. https://schedule.readthedocs.io/en/stable/
import schedule

# Prometheus Python Client
# cf. https://github.com/prometheus/client_python
from prometheus_client import CollectorRegistry, Gauge, write_to_textfile # pip install prometheus_client


class SORACOMExporter():
    def __init__(self):
        # config for api
        self.SORACOM_API_KEY_ID = "keyId-xxx"       #Wechseln Sie zu Ihren eigenen
        self.SORACOM_API_KEY_SECRET = "secret-xxx"  #Wechseln Sie zu Ihren eigenen
        self.SORACOM_URL_AUTH = "https://api.soracom.io/v1/auth"
        self.SORACOM_URL_SUBSCRIBERS = "https://api.soracom.io/v1/subscribers?limit=1000"

    def export_session_status_metrics(self):
        # api key id/Token aus Geheimnis generieren(Sie sollten es wirklich richtig verwenden...)
        self._get_soracom_api_token()

        #Holen Sie sich die Air Sim-Liste von API und analysieren Sie
        # cf. https://dev.soracom.io/jp/docs/api/#!/Subscriber/listSubscribers
        self.subscribers = self._get_subscribers()

        #Verarbeiten Sie es zu Prometheus-metrikähnlichen Daten und schreiben Sie es in eine Datei
        registry = CollectorRegistry()
        self._build_soracom_session_status_metrics(registry, self.subscribers)
        self._write_metrics(registry)

    def _build_soracom_session_status_metrics(self, registry, subscribers):
        #Hier der Name und die Bezeichnung der Metriken/Definieren Sie eine Struktur wie den Wert
        soracom_session_status_gauge = Gauge(
            "soracom_session_status",  # metrics name
            "SORACOM session status",  # metrics description
            ["imsi", "name"],  # labels
            registry=registry
        )

        #Fügen Sie die Daten ein, die aus der API entnommen wurden
        for subscriber in subscribers:
            metrics_value = 1.0 if subscriber["session_status"] else 0.0 #Online 1.0, 0 für Offline.0
            soracom_session_status_gauge.labels(
                subscriber["imsi"],
                subscriber["name"]
            ).set(metrics_value)

    def _write_metrics(self, registry):
        #Hier und da verwende ich nur das, was vorbereitet ist, wie in der README von Prometheus 'Python-Client beschrieben.
        # cf. https://github.com/prometheus/client_python
        text_collector_output_path = "/hoge/node_exporter/text_collector/soracom_exporter_session_status.prom"
        write_to_textfile(text_collector_output_path, registry)
        logging.info("text metrics was written!:%s" % text_collector_output_path)

    def _get_subscribers(self):
        subscribers_json = self._get_soracom_api_json(self.SORACOM_URL_SUBSCRIBERS)

        # parse subscribers json to extract every subscribers's imsi/tag.Name/sessionStatus
        subscribers = []
        for subscriber_json in subscribers_json:
            subscribers.append({
                "imsi": subscriber_json["imsi"],
                "name": subscriber_json["tags"]["name"] if "name" in subscriber_json["tags"] else "",
                "session_status": subscriber_json["sessionStatus"]["online"] if subscriber_json[
                    "sessionStatus"] else False
            })

        return subscribers

    def _get_api_headers(self):
        api_headers = {
            "X-Soracom-API-Key": self.auth_api_key,
            "X-Soracom-Token": self.auth_token,
            "Accept": "application/json",
        }
        return api_headers

    def _get_soracom_api_token(self):
        try:
            auth_headers = {"Content-Type": "application/json"}
            auth_payload = {"authKeyId": self.SORACOM_API_KEY_ID, "authKey": self.SORACOM_API_KEY_SECRET}
            auth_response = requests.post(
                self.SORACOM_URL_AUTH,
                headers=auth_headers,
                data=json.dumps(auth_payload),
                verify=True,
                timeout=60
            )
            auth_response.raise_for_status()
        except requests.exceptions.RequestException as err:
            logging.warning(err)
        self.auth_token = auth_response.json()["token"]
        self.auth_api_key = auth_response.json()["apiKey"]

    def _get_soracom_api_json(self, soracom_api_url):
        try:
            soracom_response = requests.get(
                soracom_api_url,
                headers=self._get_api_headers(),
                verify=True,
                timeout=60
            )
            soracom_response.raise_for_status()
        except requests.exceptions.RequestException as err:
            logging.warning(err)
        return soracom_response.json()


if __name__ == "__main__":
    se = SORACOMExporter()
    schedule.every(1).minutes.do(se.export_session_status_metrics) #Lauf jede Minute
    #Exportieren, wenn Sie andere Metriken verwenden möchten_hoge_Definieren Sie Metriken und führen Sie sie mit dem entsprechenden Intervall aus
    while True:
        schedule.run_pending()
        time.sleep(1)

Die Ausgabedatei sieht folgendermaßen aus

$ cat soracom_exporter_session_status.prom
# HELP soracom_session_status SORACOM session status
# TYPE soracom_session_status gauge
soracom_session_status{imsi="00000000000",name="Zur Unternehmensüberprüfung"} 1.0
soracom_session_status{imsi="11111111111",name="Zur Überprüfung zu Hause"} 0.0
...

Startoptionen für node_exporter

• Dies ist auch ein Resident Start mit Supervisor usw.

node_exporter -web.listen-address ":9100" -collector.textfile.directory /hoge/node_exporter/text_collector/
#Achten Sie auf die Syntax, da die Version möglicherweise alt ist

Impressionen

Von jetzt an

――Was können Sie von nun an tun?

• Benachrichtigung zum Nachlassen --Visualisierung mit grafana ――Welche anderen Endpunkte können Sie überwachen?
• traffic
• cost --cell id Gibt es eine Unschärfe?
• Es ist nicht unmöglich, ein Sim-Sitzungsereignis zu erhalten, aber es ist eine Schande, etwas abzufragen, das nahezu unverändert ist. [Ich bin froh, einen eingeschränkten Ereignishandler zu beantragen](https://soracom.jp/services/air/session-event- Handler-Limited-Preview /)

Implementierung

--Warum wird der Textsammler node_exporter anstelle des benutzerdefinierten Prometheus-Exporters implementiert?

• Sie können Metrikinformationen asynchron vorbereiten --SORACOM API hat nicht so viele Endpunkte, dass Sie mit Bulk treffen können. Wenn Sie also viel SIM haben, sollten Sie einen 1 + N-ähnlichen API-Aufruf durchführen. Dann kratzt Prometheus und Sie müssen viele API-Aufrufe gleichzeitig ausführen, um sofort zu antworten, sodass Sie es asynchron verarbeiten möchten. wurde. Es tut uns leid.
• Einfache Anpassung der Häufigkeit, mit der die SORACOM-API aufgerufen wird
• Ich möchte den Sitzungsstatus jede Minute wissen, aber wie oben erwähnt, wenn Sie beispielsweise den Datenverkehr für jede SIM-Karte abrufen möchten, [GET / stats / air / subscribers / {imsi}](https: //dev.soracom). io / jp / docs / api / #! / Stats / getAirStats) werden die Informationen alle 5 Minuten aktualisiert, und es ist dumm, sie jede Minute zu treffen. Also wollte ich ein einstellbares Intervall implementieren. Wenn Sie mehr in das Push-Gateway oder den Speicher stecken, können Sie dies mit einem benutzerdefinierten Exporter tun.
• Einfache Implementierung im kleinen Maßstab
• Textsammler für kleine und schnelle Arbeiten, kundenspezifischer Exporteur für komplizierte Dinge
• (beiseite) Ist soracom_exporter in Ordnung? --AWS Cloudwatch-Exporteur ist einer der Prometheus-Exporteure, der auf externe APIs trifft. Aber ich importiere statt exportiere, aber ist es okay für Exporteure? Ein Rätsel. Der Knotenexporter befindet sich im überwachten Knoten, es handelt sich also wahrscheinlich um einen Exporteur ...
• Außerdem bin ich mir nicht sicher, wie ich denjenigen aufrufen soll, der Text für den Textsammler des Knotenexporters ausgibt. ――Selbst wenn ich mit soracom_exporter gegoogelt habe, ist es noch nicht herausgekommen, also hatte ich das Gefühl, ich wollte es verwenden, obwohl es nicht erschöpfend war.

Ende