[PYTHON] [blackbird-kinesis-stream] Surveillance d'AWS KinesisStream

Ce Plug-in obtient les métriques CloudWatch pour Kinesis Stream.

What Metrics does this plugin get?

La colonne Nom de la métrique est MetricName.Statistics, qui est le nom de la métrique. Comment le prendre (Somme ou Moy). L'unité est une unité (octets, ms, etc.).

Zabbix Template

Items

Cet élément correspond aux métriques CloudWatch ci-dessus calculées par seconde.

• PutRecord Bytes per Second
• PutRecord Success per Second
• GetRecords Bytes per Second
• GetRecords Success per Second

Triggers

//トリガーの作成はここだけの話超苦労しました。

En raison des caractéristiques de Kinesis Stream (contrairement à Queue, les données ne disparaissent pas même si elles sont récupérées), la taille de l'ensemble du Stream n'a pas beaucoup de sens, donc si la différence entre PutRecord et GetRecords est trop petite (ou trop grande) par rapport à la fois précédente, elle se déclenchera. J'ai essayé de l'augmenter, mais en raison des caractéristiques que le côté consommateur acquiert à la fois avec GerRecords, cela vacille un peu. Par conséquent, quand je l'ai présenté pour la première fois, je le surveillais honnêtement (au stade expérimental, je ne volais que vers mon téléphone portable, donc j'étais fou).

Par conséquent, au lieu d'une simple surveillance des différences, soustrayez la valeur moyenne de 3 fois (en courte durée) de la valeur moyenne de 10 fois (en longue portée) (le nombre de fois à moyenne est un exemple). Je l'ai changé pour qu'une alerte soit lancée lorsque la différence dépasse 25%.

Vous pouvez maintenant égaliser les valeurs des volets et voir la différence moyenne. Ce n'est que lorsque le débit vers le Stream (ou le débit prélevé) augmente ou diminue considérablement, vous pouvez reconnaître que "Oh, il s'est passé quelque chose".

Bien sûr, en fonction des caractéristiques de l'application, il peut être nécessaire d'allonger ou de raccourcir la valeur moyenne de ces longue portée et courte portée, j'ai donc défini la portée et le seuil dans MACRO respectivement.

• Surveillance de la différence moyenne par la logique ci-dessus
  • PutRecord.Bytes
  • PutRecord.Success
  • GetRecords.Bytes
  • GetRecords.Success
• PutRecord.Latency
• GetRecords.Latency

Est le déclencheur. Vous pouvez spécifier respectivement des seuils d'informations, moyens et élevés, afin de modifier l'intégration du chat, des e-mails et des notifications.

Graphs

La surveillance des différences au-dessus de la moyenne est difficile à comprendre avec des mots, mais elle devrait être très facile à comprendre dans les graphiques.

Graphique des valeurs brutes de GetRecords.Bytes

C'est assez irrégulier. Si vous surveillez cela avec une simple différence par rapport à la comparaison précédente, vous recevrez de nombreuses alertes.

Graphe de différence moyenne GetRecords.Bytes

C'est un graphique lissé, mais je pense qu'il semble assez calme. Si vous le regardez avec une durée légèrement plus longue et que vous le comparez au temps de pointe de l'application, il semble que le débit sera comme ça.

Comme un autre graphique

• Get/Put Latency

• Latence de GetRecords et PutRecord (temps de réponse de chaque API)

• Get/Put Success

• Nombre de succès pour obtenir des enregistrements et mettre des enregistrements

• Write/Read per second

• Octets en lecture / écriture par seconde

il y a.

How to Install

J'ai téléchargé le RPM à endroit habituel, donc cette procédure Créez un fichier référentiel à partir de //qiita.com/JumpeiArashi/items/849281083b6c7888f25d#case-of-using-yum),

yum install blackbird-kinesis-stream --enablerepo=blackbird

Veuillez le faire.

Le pip sera bientôt mis à jour alors veuillez patienter un peu plus longtemps ＞ ＜

N'y a-t-il pas de surveillance pour chaque fragment ??

Dans CloudWatch, vous pouvez obtenir une métrique pour chaque fragment, donc je veux vraiment l'implémenter (je sais où dépend la clé), mais tant que la logique de l'application n'est pas fausse, le flux de différence seul est `` quelque chose qui se passe. Je pense qu'il est possible de le remarquer.

Cependant, à l'avenir, nous prévoyons de surveiller chaque fragment.

finalement

Je pense que le Throuput de Put s'est beaucoup amélioré depuis que l'API Put Records a été implémentée l'autre jour, mais comme il n'est pas encore implémenté du côté du plugin, j'aimerais l'obtenir dès que possible et l'ajouter au modèle Zabbix.