Correspondance des fonctionnalités avec OpenCV 3 et Python 3 (A-KAZE, KNN)

Correspondance des fonctionnalités avec OpenCV

La correspondance des caractéristiques est la correspondance des caractéristiques extraites de différentes images.

• Créer une image panoramique
• Détection d'objets
• Suivi de mouvement

C'est une technologie qui apparaît dans.

Les bibliothèques suivantes sont fournies dans OpenCV.

• Extraction de fonctionnalités
• Correspondance des fonctionnalités
• Afficher les résultats correspondants

Cette fois, en utilisant OpenCV 3 + Python 3, je vais essayer de faire correspondre les caractéristiques de l'image pivotée et agrandie comme indiqué ci-dessous.

** Dessiner le résultat correspondant **

Qu'est-ce qu'OpenCV?

OpenCV (Open Source Computer Vision Library) est une collection de bibliothèques de traitement vidéo / image sous licence BSD. Il existe de nombreux algorithmes tels que le filtrage d'image, la correspondance de modèles, la reconnaissance d'objets, l'analyse vidéo et l'apprentissage automatique.

■ Exemple de suivi de mouvement avec OpenCV (OpenCV Google Summer of Code 2015) https://www.youtube.com/watch?v=OUbUFn71S4s

■ Cliquez ici pour une installation et une utilisation facile Installer OpenCV 3 (core + contrib) dans l'environnement Python 3 & Différence entre OpenCV 2 et OpenCV 3 & Easy operation check

■ Cliquez ici pour le traitement des images fixes Essayez la détection des bords avec OpenCV Effectuer divers filtres avec OpenCV (Gradient, Highpass, Laplacian, Gaussian) Extraire des points caractéristiques avec OpenCV (AgastFeature, FAST, GFTT, MSER, AKAZE, BRISK, KAZE, ORB, SimpleBlob) Reconnaissance faciale à l'aide d'OpenCV (classificateur de caractéristiques de type Haar) Estimer qui est le visage en utilisant OpenCV (Eigenface, Fisherface, LBPH) Reconnaître le contour et la direction d'un objet façonné avec OpenCV (analyse des composants principaux: PCA, vecteur propre)

■ Cliquez ici pour le traitement vidéo Essayez de convertir des vidéos en temps réel avec OpenCV Essayez de convertir des vidéos de caméra Web / caméra vidéo en temps réel avec OpenCV Dessinez un flux optique en temps réel avec OpenCV (méthode Shi-Tomasi, méthode Lucas-Kanade) Suivi d'objets à l'aide d'OpenCV (suivi des points caractéristiques spécifiés par la souris par la méthode Lucas-Kanade Analyse de modèles de mouvement à l'aide d'OpenCV (reconnaissance des objets et de leurs directions de déplacement en temps réel)

A-KAZE

• Page d'accueil 　http://www.robesafe.com/personal/pablo.alcantarilla/kaze.html
• Licence 　https://github.com/pablofdezalc/akaze/blob/master/LICENSE
• Fonctionnalités Dans OpenCV 3, les brevets brevetés SIFT (Scale-invariant feature transform) et SURF (Speed-Upped Robust Feature) ont été déplacés vers la bibliothèque contrib, et les licences KAZE et A-KAZE ont été déplacées vers la bibliothèque principale. Il est maintenant inclus. A-KAZE (ACCELERATED-KAZE) est un algorithme amélioré de KAZE à grande vitesse. Comme SIFT et SURF, KAZE et A-KAZE sont des algorithmes d'extraction de caractéristiques robustes qui résistent aux changements d'échelle, de rotation et d'éclairage. SIFT et SURF sont faibles dans l'extraction d'entités dans les zones plates car ce sont des algorithmes qui utilisent un filtre gaussien, mais KAZE et A-KAZE extraient également des entités dans les zones plates.
• Comparaison ORB et A-KAZE Semblable à SIFT et SURF, il est robuste en termes de mise à l'échelle et de rotation, mais a les mêmes performances de suivi que ORB (Oriented-BRIEF), qui est haute vitesse (10 fois SURF et 100 fois SIFT). 　
  ** ORB vs A-KAZE (lien youtube) ** A-KAZE semble mieux suivre les caractéristiques des pièces plates que ORB.

KNN、Brute-Force、FLANN KNN (algorithme K-Nearest Neighbor) est un algorithme qui sélectionne K étiquettes de voisin le plus proche de l'espace de recherche et attribue des étiquettes de classe à la majorité. L'apprentissage stocke simplement les données d'entraînement telles quelles. Il fonctionne à grande vitesse car le coût d'apprentissage est nul. C'est un acteur représentatif de l'algorithme d'apprentissage paresseux. OpenCV prend en charge la méthode round-robin (Brute-Force) et la méthode de recherche rapide de voisinage approximatif (FLANN) comme méthode de recherche de K étiquettes voisines les plus proches à partir de l'espace de recherche.

• Méthode round-robin (Brute-Force) La recherche dans tout l'espace de recherche prend du temps car il s'agit d'une recherche circulaire, mais vous pouvez sûrement rechercher la quantité d'entités la plus proche.
• Bibliothèque rapide pour les voisins les plus proches approximatifs (FLANN) Seul l'espace proche du point caractéristique à rechercher est recherché. L'espace de recherche étant réduit, vous pouvez effectuer une recherche à grande vitesse. Cependant, si vous spécifiez un paramètre de recherche incorrect, vous ferez une erreur en sélectionnant l'espace de recherche et vous finirez par rechercher uniquement l'espace de recherche qui n'inclut pas les points caractéristiques les plus proches. Je vais finir.

● Remarques (Python3 et FLANN)

Plus tôt, j'ai écrit qu'il existe un tutoriel qui ne fonctionne pas avec OpenCV 3 (lien), mais la correspondance des points de fonctionnalités de FLANN est mon environnement (OpenCV). Cela ne fonctionnait pas sur 3.1.0 + Python 3.5.2 + Windows 10).

    > matches = flann.knnMatch(des1,des2,k=2)
    > 

\ # L'erreur suivante se produit # error: C:\dev\opencv-3.1.0\modules\python\src2\cv2.cpp:163: error: (-215) The data should normally be NULL! in function NumpyAllocator::allocate

FLANN fonctionne très bien avec C ++ et OpenCV2, donc si vous souhaitez utiliser FLANN, exécutez-le dans un environnement C ++ ou OpenCV2. Lors de l'exécution avec une combinaison d'OpenCV 3 et de Python 3, actuellement "Brute-Force" est utilisé.

programme

• Environnement d'exploitation
  • OpenCV 3.1.0
  • Python 3.5.2
• Exemple d'image J'ai préparé les images prises séparément (img1.jpg, img2.jpg). L'image comprend la rotation et le zoom.

knn.py

# -*- coding: utf-8 -*-
import cv2

#Image 1
img1 = cv2.imread("img1.jpg ")
#Image 2
img2 = cv2.imread("img2.jpg ")

# A-Génération de détecteur KAZE
akaze = cv2.AKAZE_create()                                

#Détection d'entités et calcul de vecteurs d'entités
kp1, des1 = akaze.detectAndCompute(img1, None)
kp2, des2 = akaze.detectAndCompute(img2, None)

# Brute-Génération Force Matcher
bf = cv2.BFMatcher()

#Vecteurs de quantité de caractéristiques brutes-Correspondance avec Force et KNN
matches = bf.knnMatch(des1, des2, k=2)

#Affiner les données
ratio = 0.5
good = []
for m, n in matches:
    if m.distance < ratio * n.distance:
        good.append([m])

#Dessiner les points caractéristiques correspondants
img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, good[], None, flags=2)

#Affichage de l'image
cv2.imshow('img', img3)

#Appuyez sur la touche pour terminer
cv2.waitKey(0)
cv2.destroyAllWindows()

Résultat correspondant

Dans le test de rapport proposé par D.Lowe, les résultats correspondants sont éclaircis et affichés.

lowe.py

#Affiner les données
ratio = 0.5
lowe = []
for m, n in matches:
    if m.distance < ratio * n.distance:
        lowe.append([m])

#Dessiner les points caractéristiques correspondants
img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, lowe[], None, flags=2)

Cette méthode vous donne une idée visuelle de l'état de correspondance de l'image entière. Il ne semble y avoir aucun faux positif dans ce test.

Modifions une partie du code afin que seuls ceux qui présentent un bon état de correspondance entre les quantités de caractéristiques soient affichés.

knn_good.py

#Trier les fonctionnalités en fonction du statut correspondant
good = sorted(matches, key = lambda x : x[1].distance)

#Dessiner les points caractéristiques correspondants
img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, good[:30], None, flags=2)

Une quantité de caractéristiques différente a été dessinée. Cette fois, puisque la quantité de caractéristiques est dispersée, elle correspond dans son ensemble, mais dans le cas d'une image où les points caractéristiques sont partiellement biaisés, ceux avec un bon état de correspondance y seront concentrés. ..

KeyPoint (objet de point caractéristique)

DMatch (objet de résultat correspondant)

Les éléments suivants sont stockés dans DMatch suite à la correspondance entre les quantités d'objets.