[PYTHON] Examinons un peu plus la correspondance des points caractéristiques à l'aide d'OpenCV
Qu'est-ce que la correspondance des points caractéristiques?
Un tel gars. Les points caractéristiques sont détectés et mis en correspondance entre une image 400x400px et une image redimensionnée et pivotée de 200x200px.
code
C'est le code qui produit l'image ci-dessus. seulement ça.
import cv2
from IPython.display import Image
from IPython.display import display
#Chargement d'image
img1 = cv2.imread('/path/to/dir/megane400x400.png')
img2 = cv2.imread('/path/to/dir/megane200x200_rotate.png')
#Détection des points caractéristiques
akaze = cv2.AKAZE_create()
kp1, des1 = akaze.detectAndCompute(img1, None)
kp2, des2 = akaze.detectAndCompute(img2, None)
#correspondant à
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
#Trier par distance de bourdonnement entre les points caractéristiques
matches = sorted(matches, key=lambda x: x.distance)
#Créer une image de résultat correspondante entre 2 images
img1_2 = cv2.drawMatches(img1, kp1, img2, kp2, matches[:10], None, flags=2)
decoded_bytes = cv2.imencode('.jpg', img1_2)[1].tobytes()
display(Image(data=decoded_bytes))
Divisons le code
Chargement d'image
img1 = cv2.imread('/path/to/dir/megane400x400.png')
img2 = cv2.imread('/path/to/dir/megane200x200_rotate.png')
print(img1)
# [[[255 255 255]
# [255 255 255]
# [255 255 255]
# ...
# [255 255 255]
# [255 255 255]
# [255 255 255]]
#
# [[255 255 255]
# [255 255 255]
# [255 255 255]
# ...
# [255 255 255]
# [255 255 255]
# [255 255 255]]
#
# ...
#
# [[255 255 255]
# [255 255 255]
# [255 255 255]
# ...
# [255 255 255]
# [255 255 255]
# [255 255 255]]
#
# [[255 255 255]
# [255 255 255]
# [255 255 255]
# ...
# [255 255 255]
# [255 255 255]
# [255 255 255]]]
print(img1.shape)
# (400, 400, 3)
La valeur BGR pour chaque pixel est renvoyée. Dans la méthode cv2.imread (), BGR (l'ordre des valeurs est différent) au lieu de RVB. Notez qu'il doit être converti en RVB lorsqu'il est utilisé avec Pillow. Voir aussi: https://note.nkmk.me/python-opencv-bgr-rgb-cvtcolor/
Il s'agit d'une image 400x400px, donc la forme est (400, 400, 3). [255 255 255] <-C'est la valeur BGR par pixel. La partie blanche de l'image est l'endroit où [255 255 255] sont alignés.
Détection des points caractéristiques
akaze = cv2.AKAZE_create()
kp1, des1 = akaze.detectAndCompute(img1, None)
kp2, des2 = akaze.detectAndCompute(img2, None)
print('#####Point caractéristique#####')
print(kp1)
# [<KeyPoint0x11af41db0>, <KeyPoint0x11af649c0>, <KeyPoint0x11af64ba0>,
# ...
# <KeyPoint 0x126265030>, <KeyPoint 0x126265120>, <KeyPoint 0x126265150>]
#Le point caractéristique détecté est cv2.Renvoyé sous forme de tableau dans la classe KeyPoint.
print('#####Nombre de points caractéristiques#####')
print(len(kp1))
# 143
#Nombre de points caractéristiques Varie selon le type et la taille de l'image
#Vous pouvez augmenter le nombre de points caractéristiques en agrandissant l'image, mais si elle dépasse une certaine valeur, cela ne fera qu'augmenter la quantité de calcul, donc augmentez-la tout en vérifiant la sortie.
print('#####Descripteur de fonctionnalité#####')
print(des1)
# [[ 32 118 2 ... 253 255 0]
# [ 33 50 12 ... 253 255 48]
# [ 0 134 0 ... 253 255 32]
# ...
# [ 74 24 240 ... 128 239 31]
# [245 25 122 ... 255 239 31]
# [165 242 15 ... 127 238 55]]
#AKAZE revient en tant que vecteur à 61 dimensions
print('#####Vecteur caractéristique#####')
print(des1.shape)
# (143, 61) <- (58 est le nombre de points caractéristiques,Nombre d'éléments dans le descripteur de fonction)
AKAZE est l'un des algorithmes de détection des points caractéristiques et a la même position debout que ORB, SIFT, SURF, etc. Il semble avoir des avantages tels que la vitesse de calcul rapide et la facilité d'utilisation car il est open source.
- SIFT et SURF ont des problèmes de brevets. Cet article est très simple à comprendre. https://qiita.com/hitomatagi/items/62989573a30ec1d8180b
En outre, selon cela, AKAZE semble avoir une précision de détection plus élevée que ORB. https://docs.opencv.org/3.0-rc1/dc/d16/tutorial_akaze_tracking.html
Comment détectez-vous les points caractéristiques?
Citation: http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_feature2d/py_features_meaning/py_features_meaning.html#features-meaning
A ~ F est une partie découpée de cette image. Savez-vous où se trouve l'image recadrée? Je pense que beaucoup de gens ont ce genre d'impression.
A, B-> Je comprends que c'est le ciel et le mur, mais il est difficile de préciser l'emplacement. (plat) C, D-> Vous pouvez voir que c'est quelque part dans la partie supérieure du bâtiment. Cependant, il est difficile d'identifier l'emplacement exact. (Bord) E, F-> Vous pouvez facilement voir le coin du bâtiment. (coin)
De là, il semble que des pièces telles que E et F sont de bonnes fonctionnalités. Afin de trouver des coins tels que E et F, des algorithmes tels que AKAZE détectent les zones avec de grands changements de luminosité.
Référence: http://www.lab.kochi-tech.ac.jp/yoshilab/thesis/1150295.pdf
Correspondance des points caractéristiques
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
matches = sorted(matches, key=lambda x: x.distance)
print(matches)
#Les points caractéristiques correspondants sont cv2.Renvoyé sous forme de tableau en tant que classe DMatch
# [<DMatch 0x1260f5150>, <DMatch 0x1260f5490>, ... <DMatch 0x1260f65f0>, <DMatch 0x1260f69d0>]
print(len(matches))
# 58
print('###Distance entre les descripteurs d'entités###')
for i in matches:
print(i.distance)
# 6.0
# 6.0
# .
# .
# .
# 142.0
# 150.0
BFMatcher calcule la distance du descripteur de quantité de caractéristiques obtenu à partir de deux images (ici, la distance de bourdonnement) en arrondissant, et correspond à la plus proche. Le premier argument de BFMatcher (), cv2.NORM_HAMMING, spécifie le calcul de la distance de bourdonnement par distance. Le crossCheck par défaut pour le premier argument de chargement est False, ce qui crée une asymétrie dans laquelle un point-clé est le plus proche, mais l'autre point-clé est plus proche. Si défini sur True, seul le résultat avec le plus court des deux côtés sera renvoyé.
Trier par valeur de retour en passant une fonction à la clé d'argument de sorted ().
--matches-> Liste des objets de type DMatch --DMatch.distance-> Plus la distance entre les descripteurs d'entités est faible, plus le degré de correspondance est élevé. --DMatch.trainIdx-> Index du descripteur dans le descripteur d'apprentissage (données de référence) --DMatch.queryIdx-> Index du descripteur dans le descripteur de requête (données de recherche) --DMatch.imgIdx-> Index de l'image d'entraînement
Quelle est la distance de bourdonnement?
Le nombre de caractères différents aux positions correspondantes dans deux chaînes avec le même nombre de caractères.
• La distance de bourdonnement entre 1011101 et 1001001 est de 2. • La distance de bourdonnement entre 2173896 et 2233796 est de 3. -La distance de bourdonnement entre "tonique" et "roses" est de 3.
def1 et def2 passés à bf.match () sont des tableaux contenant plusieurs descripteurs de caractéristiques à 61 dimensions.
print(des1)
# [[ 32 118 2 ... 253 255 0] <-61 pièces
# [ 33 50 12 ... 253 255 48] <-61 pièces
# [ 0 134 0 ... 253 255 32]
# ...
# [ 74 24 240 ... 128 239 31]
# [245 25 122 ... 255 239 31]
# [165 242 15 ... 127 238 55]
Il semble que le traitement suivant soit effectué dans bf.match ().
- Calculez la distance de bourdonnement en convertissant le nombre décimal-> nombre binaire
- Prenez la somme des distances pour 61 éléments
- Trouvez la distance entre toutes les quantités d'entités par round robin
- Renvoie le résultat qui dépasse un certain seuil <-Ceci n'est pas confirmé
Expérience 1
Vous pouvez voir qu'il a été converti en décimal-> binaire.
#0 est un nombre binaire 00000000
des1 = np.array([0]).astype('uint8')
#255 est un nombre binaire 11111111
des2 = np.array([255]).astype('uint8')
# ※ astype('uint8')Si vous ne le faites pas, bf.match()Je ne peux pas te le donner.
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
matches = sorted(matches, key=lambda x: x.distance)
for i in matches:
print(i.distance)
# 8.0 <-Distance de fredonnement
#244 est un nombre binaire 11111110
des1 = np.array([244]).astype('uint8')
#255 est un nombre binaire 11111111
des2 = np.array([255]).astype('uint8')
# ※ astype('uint8')Si vous ne le faites pas, bf.match()Je ne peux pas te le donner.
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
for i in matches:
print(i.distance)
# 1.0 <-Distance de fredonnement
Expérience 2
Vous pouvez voir que nous additionnons les distances entre les éléments dans le descripteur d'entités.
#La représentation binaire est possible en ajoutant un préfixe 0b.
des1 = np.array([[0b0001, 0b0001, 0b0001], [0b0011, 0b0011, 0b0011], [0b0111, 0b0111, 0b0111]]).astype('uint8')
des2 = np.array([[0b0000, 0b0000, 0b0000]]).astype('uint8')
# ※ astype('uint8')Si vous ne le faites pas, bf.match()Je ne peux pas te le donner.
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
# [0b0001, 0b0001, 0b0001]Quand[0b0000, 0b0000, 0b0000]Seul le résultat de
for i in matches:
print(i.distance)
# 3.0 <-Distance de fredonnement
Créer une image de résultat correspondante (première image)
img1_2 = cv2.drawMatches(img1, kp1, img2, kp2, matches[:10], None, flags=2)
decoded_bytes = cv2.imencode('.jpg', img1_2)[1].tobytes()
display(Image(data=decoded_bytes)
En définissant matches [: 10] dans l'argument de drawMatches (), 10 points caractéristiques proches les uns des autres sont dessinés à partir du haut.
La fin
Recommended Posts