Depuis que l'IOT est devenu populaire, des efforts ont été faits pour augmenter le nombre de capteurs afin de prévoir et d'entretenir les machines. Cela se fait.

La rumeur veut qu'il y ait eu des cas où 100 capteurs sont connectés à une seule machine.

La question est donc de savoir s'il est juste d'augmenter le nombre de capteurs? En d'autres termes, est-ce que ** l'augmentation du nombre de capteurs supplémentaires affecte les performances de détection d'anomalies? Quand C'est-à-dire.

Dans cet article, nous nous concentrons sur la malédiction de la dimension, "Si vous augmentez le nombre de capteurs supplémentaires, la détection des anomalies Qu'arrivera-t-il à la représentation? "

Le code entier est placé dans ici.
Ceci est le matériel de présentation du Python Data Analysis Study Group # 17.

De la conclusion

Des informations supplémentaires sur le capteur peuvent réduire les performances de détection des anomalies
Pour éviter cela, il est nécessaire de prendre des mesures telles que la réduction des capteurs supplémentaires.

Scène supposée

Seuls deux capteurs sont efficaces pour la détection d'anomalies
Il dispose également d'un capteur supplémentaire et émet un signal presque nul, mais ** bruyant (important) **
Qu'arrive-t-il au score anormal si j'augmente le nombre de capteurs supplémentaires?

À partir de la conclusion, si le capteur supplémentaire continue d'émettre un signal nul, les performances de détection d'anomalie seront On peut dire qu'il n'y a pratiquement pas de changement. Cependant, parce qu'il contient du bruit, il devient une malédiction de dimension. Si vous augmentez le nombre de capteurs sous l'influence de, les performances de détection d'anomalies se détérioreront.

bruit

Le capteur contient presque toujours du bruit. Même un capteur avec une bonne précision Il contient une petite quantité de bruit. Filtre passe-bas (haut) pour éliminer le bruit Il existe des mesures à installer telles que, mais un tel traitement sort du cadre de cet article.

Dans cet article, nous supposons une scène qui utilise des ** données de capteur brutes contenant du bruit **.

Qu'est-ce qu'une malédiction dimensionnelle?

À mesure que le nombre de dimensions des données augmente, le volume de surface occupe la majeure partie du volume total. C'est un phénomène qui devient. Le problème avec l'apprentissage automatique est la différence de distance entre le point le plus proche et le point le plus éloigné. Le fait est qu'il disparaît presque et qu'il devient difficile de le distinguer par la distance. Consultez les articles suivants pour plus de détails.

À propos de la malédiction de la dimension

Impact sur l'apprentissage supervisé

Personnellement, dans l'apprentissage supervisé, ** la réduction de dimension, etc. peut être explicitement incorporée, donc la malédiction de la dimension Je ne pense pas que cela sera affecté. ** Conversation extrême, même avec des informations de capteur supplémentaires On peut dire que vous devez réduire les quantités d'objets inutiles et utiliser la quantité d'objets qui donne la plus grande précision.

Impact sur l'apprentissage non supervisé

Cependant, dans un apprentissage non supervisé tel que la détection d'anomalies, il n'y a fondamentalement aucune donnée d'anomalie, ou Il est possible que vous ne disposiez que d'une petite quantité de données anormales. Et une petite quantité de données anormales Pour référence, si vous réduisez le nombre de fonctionnalités, il y a un risque de ** réduire le nombre de fonctionnalités dont vous avez vraiment besoin. Par conséquent, si la dimension est facilement réduite par un apprentissage non supervisé, les performances de détection d'anomalies peuvent se détériorer. Il y a.

Cependant, est-il acceptable de placer des informations de capteur inutiles dans le détecteur telles quelles? Performances de détection d'anomalies N'est-ce pas détérioré? La question se pose également. En d'autres termes, des informations de capteur inutiles Le nombre de dimensions augmente car il est inséré, et il est difficile de faire la distinction entre normal et anormal en raison de la malédiction des dimensions N'est-ce pas? La question est. Par conséquent, nous allons mener une expérience en utilisant des données factices.

Expérience

Seuls deux capteurs sont efficaces pour la détection d'anomalies
Il dispose également d'un capteur supplémentaire et émet un signal presque nul, mais il contient du bruit.
Qu'arrive-t-il au score anormal si j'augmente le nombre de capteurs supplémentaires? Observer

Comme mentionné au début, l'expérience est effectuée avec les paramètres ci-dessus. Les deux méthodes suivantes sont utilisées comme méthodes de détection des anomalies.

Méthode MT
Isolation Forest

Je vais omettre l'introduction détaillée, mais la méthode MT applique les données normales à la distribution normale et utilise la distance Maharanobis. Déterminez si c'est anormal. Plus la distance Maharanobis est grande, plus le degré d'anomalie est élevé. Isolation Forest est une méthode de détection d'anomalies basée sur un arbre décisionnel. Papier original a 500 dimensions Il a été démontré qu'il est valide pour plus de données.

J'ai mis tout le code ici [https://github.com/shinmura0/Number-of-Sensor/blob/master/Infinity_sensor.ipynb.ipynb).

Résultats de la méthode MT

Tout d'abord, générez un capteur fonctionnel ($ x_1, x_2 $) en utilisant des nombres aléatoires.

À partir de la figure ci-dessus à gauche, vous pouvez voir qu'il existe une corrélation entre $ x_1 et x_2 $. Les points verts sont les données d'entraînement. Si vous remplacez $ x_1 $ par la température, $ x_2 $ par la pression, etc. Cela peut être facile à comprendre.

Les points violets sont des données normales et les points rouges sont des données anormales.

Lorsque la méthode MT est appliquée dans l'espace $ x_1, x_2 $, elle est normale / anormale comme le montre la figure de droite ci-dessus. Il existe une nette différence dans le score anormal (MD = distance de Maharanobis). Plus la distance Maharanobis est grande, plus le degré d'anomalie est élevé. Au fait, la ligne bleu clair est On l'appelle une ellipse à probabilité égale, et la zone où la distance de Maharanobis est la même est représentée par une ligne.

Lorsque le nombre de dimensions passe de 2 à 3

Augmentez le nombre de dimensions de un ($ x_3 $).

Ajout d'une information de capteur supplémentaire comme celle de droite ($ x_3 $) ci-dessus. $ x_3 $ est, par exemple, un capteur de luminosité Vous pouvez le joindre. $ x_1, x_2 $ (chiffres de gauche et du milieu) étaient des données corrélées et significatives, $ x_3 $ n'a pas de corrélation et n'est que des données bruyantes.

L'espace $ x_1, x_3 $ est illustré ci-dessous.

En regardant uniquement cette figure, la différence entre les données normales / anormales n'est pas si grande, et la manière de conduire le bruit Par conséquent, il est probable que les données normales soient hors de valeur. Et c'est tout C'est un facteur qui rend difficile la distinction entre anormal et normal.

$ x_1, x_2, x_3 $ Si vous appliquez la méthode MT sur tout l'espace, le score d'anomalie sera le suivant.

La différence est plus petite que lorsque le nombre de dimensions est de 2, mais les données anormales ont toujours un score plus élevé. Ça devient plus gros.

Lorsque le nombre de dimensions passe de 3 à 100

Le résultat de continuer d'augmenter $ x_3 $ à 98 comme avant est le suivant.

L'axe horizontal est le nombre de dimensions et l'axe vertical est le score anormal (MD = distance de Maharanobis). Comme vous pouvez le voir, lorsque le nombre de dimensions est de 20, les scores normaux et anormaux sont inversés. En d'autres termes, c'est un faux positif.

Puisqu'il s'agit d'une expérience utilisant des nombres aléatoires, les résultats changeront d'une expérience à l'autre, mais tous les résultats seront aussi longtemps que le nombre de dimensions est petit. Normal et anormal peuvent être détectés correctement.

Résultats de la forêt d'isolement

Lorsque le nombre de dimensions passe de 2 à 100

Le résultat est similaire à la méthode MT.

Après tout, lorsque le nombre de dimensions est de 20, normal et anormal sont inversés et une fausse détection est effectuée. Isolation Forest utilise scicit-learn, mais le score anormal est dans un souci de clarté. Les nombres sont inversés. (Dans la figure ci-dessus, plus le score d'anomalie est élevé, plus le degré d'anomalie est élevé.)

Pour éviter la malédiction de la dimension

En conséquence, si vous entrez trop d'informations de capteur inutiles, le nombre de dimensions augmentera, et en raison de la malédiction des dimensions Il est devenu difficile de faire la distinction entre normal et anormal. D'autre part, les informations du capteur sont inutilement Si vous le laissez tomber, il y a un risque que les performances de détection d'anomalies se détériorent. Résolvez ce dilemme Les méthodes sont les suivantes.

Similitude cosinus ~~ En général, les méthodes basées sur les angles telles que la ** similarité cosinus ** sont moins sensibles aux malédictions dimensionnelles C'est dit. ~~ (← Je pense que je l'ai vu quelque part, mais je ne me souviens pas de la source, pour l'instant J'efface. Si quelqu'un connaît des références ou des articles, veuillez me le faire savoir. )
Subdiviser les informations du capteur Par exemple, si vous avez 100 informations de capteur, au lieu de les pousser dans un seul détecteur Voici une idée ** pour créer un détecteur en divisant les informations du capteur en deux parties. Cela en fait une malédiction de dimension Vous pouvez atténuer l'impact. En supposant que nous fabriquions des détecteurs par aller-retour, nous avons décidé de fabriquer des détecteurs à 100 C_2 = 4950 $. Devenir. Je suis préoccupé par la vitesse de traitement de 4950 détecteurs, mais la méthode MT peut traiter à grande vitesse. Isolation Forest est un traitement lourd, donc le traitement en temps réel est difficile, mais si vous êtes hors ligne Je pense que c'est un niveau utilisable. Cependant, comme nous ne regardons que deux relations, il y a trois relations ou plus. Dans certains cas, vous pouvez manquer une anomalie.
Réduire les capteurs supplémentaires C'est le plus simple et le plus clair. ** Si vous avez des données anormales, quelles informations de capteur sont efficaces? Vous pouvez le presser. ** Cela vous permet de supprimer des capteurs supplémentaires et d'éviter des dimensions plus élevées. Je peux le faire. Cependant, comme mentionné au début, si la quantité de données anormales est faible, le capteur qui est vraiment nécessaire S'il y a un risque de réduction et qu'il n'y a pas de données anormales, lors de la collecte de données anormales L'inconvénient est que le détecteur doit être mis à niveau. La méthode MT utilise le rapport SN Vous pouvez affiner les capteurs qui fonctionnent. Dans Article suivant, non seulement la méthode MT mais également d'autres méthodes Je vais vous montrer comment affiner les capteurs efficaces.

Résumé

Si vous continuez à augmenter les informations supplémentaires du capteur, les performances de détection d'anomalies peuvent diminuer.
Pour éviter cela, il est nécessaire de concevoir comme utiliser ~~ la similitude cosinus, ~~ subdiviser les informations du capteur, etc.
Si le nombre de capteurs supplémentaires peut être réduit, la détérioration des performances de détection des anomalies peut être évitée, les coûts peuvent être réduits et deux oiseaux avec une pierre.

La prochaine fois présentera une méthode pour trouver la cause de la détection d'anomalies. Grâce à cette technique, il est possible d'affiner les capteurs efficaces et ** de réduire le nombre de capteurs supplémentaires. ** **

[PYTHON] [Malédiction dimensionnelle] Si le nombre de capteurs est changé en ∞, une anomalie peut-elle être détectée?