Trouver la similitude d'image avec Python + OpenCV

J'ai publié une version modifiée de cet article sur https://qiita.com/best_not_best/items/669aaa9e1b8de647d29d!

Bonjour à tous. @best_not_best. Mon travail actuel consiste à implémenter la fonction de recommandation d'emploi du site de recrutement et à analyser le site à l'aide de Google Analytics et Adobe Analytics. (Le reste ne fait que publier des images d'animaux sur le Slack interne.)

Dans Last Advent Calendar, un jugement de similarité d'image a été effectué à l'aide du Deep Learning. La précision était bonne, mais la collecte des données d'entraînement est toujours un goulot d'étranglement ... Cette fois, je voudrais simplement comparer les deux images pour trouver la similitude des images.

Choses à faire

Comparez les similitudes des images ci-dessous. L'image est récupérée auprès de l'enseignant Google. J'ai choisi une image de face pour une meilleure précision.

Image de comparaison

nom de fichier	image	La description
05.png		Chien Shiba (mignon)

Comparaison

nom de fichier	image	La description
01.png		Daxfund (mignon)
02.png		Corgi (mignon)
03.png		Golden retriever (mignon)
04.png		Chien Shiba (mignon)
06.png		Labrador retriever (mignon)

Si la similitude entre 05.png et 04.png, qui sont de la même race de chien, est élevée, c'est une réussite.

environnement

Machine / OS
MacBook Pro (Retina, 15-inch, Mid 2014)
OS X Yosemite 10.10.5
Python
- Python 3.5.2 :: Anaconda 4.1.1 (x86_64)
Paquet Python
opencv3 3.1.0 (Installer avec conda.)

Structure du répertoire

hist_matching.py
feature_detection.py
images
 ├─ 01.png
 ├─ 02.png
 ├─ 03.png
 ├─ 04.png
 ├─ 05.png
 └─ 06.png

Validation 1: Comparez l'histogramme

En gros, c'est une méthode de comparaison par teinte. Voir ci-dessous pour plus de détails.

Faisons un système de recherche d'images similaire - Une percée sur l'intelligence artificielle
<a href = "https://www.blog.umentu.work/python-opencv3%E3%81%A7%E5%BA%A6%E6%95%B0%E5%88%86%E5%B8% 83% E3% 82% 92% E7% AE% 97% E5% 87% BA% E3% 81% 97% E3% 81% A6% E3% 83% 92% E3% 82% B9% E3% 83% 88% E3% 82% B0% E3% 83% A9% E3% 83% A0% E5% 87% BA% E5% 8A% 9B / "target =" _ blank "> Python OpenCV3 calcule la distribution de fréquence et produit l'histogramme umentu importer stupide

La conversion de l'échelle de gris n'est pas effectuée car la comparaison est basée sur la teinte. De plus, la taille de l'image est uniformément convertie en 200 px x 200 px à des fins de comparaison.

`hist_matching.py`


#!/usr/bin/env python
# -*- coding: UTF-8 -*-

"""hist matching."""

import cv2
import os

TARGET_FILE = '05.png'
IMG_DIR = os.path.abspath(os.path.dirname(__file__)) + '/images/'
IMG_SIZE = (200, 200)

target_img_path = IMG_DIR + TARGET_FILE
target_img = cv2.imread(target_img_path)
target_img = cv2.resize(target_img, IMG_SIZE)
target_hist = cv2.calcHist([target_img], [0], None, [256], [0, 256])

print('TARGET_FILE: %s' % (TARGET_FILE))

files = os.listdir(IMG_DIR)
for file in files:
    if file == '.DS_Store' or file == TARGET_FILE:
        continue

    comparing_img_path = IMG_DIR + file
    comparing_img = cv2.imread(comparing_img_path)
    comparing_img = cv2.resize(comparing_img, IMG_SIZE)
    comparing_hist = cv2.calcHist([comparing_img], [0], None, [256], [0, 256])

    ret = cv2.compareHist(target_hist, comparing_hist, 0)
    print(file, ret)

Est-ce qu'il consomme de la mémoire? Erreur de segmentation: 11 ou python (18114,0x7fff7a45b000) malloc: *** erreur pour l'objet 0x102000e00: somme de contrôle incorrecte pour l'objet libéré - l'objet a probablement été modifié après avoir été libéré. Il est rarement affiché. Je n'ai pas trouvé de solution (désolé), mais lorsqu'il s'agit d'un grand nombre d'images, il semble préférable de réduire le nombre d'images de comparaison et d'effectuer plusieurs traitements.

`Résultat d'exécution`


TARGET_FILE: 05.png
01.png 0.3064316801821619
02.png -0.09702013809004943
03.png 0.5273343981076624
04.png 0.5453261576844468
06.png 0.1256772923432995

Pour exactement la même image, la similitude est de 1. Vous pouvez voir que la similitude entre 05.png et 04.png est élevée. Il était surprenant que le degré de similitude avec 01.png soit élevé.

Vérification 2: correspondance des points caractéristiques

2 Extrayez les points caractéristiques de l'image et comparez leurs distances. J'ai évoqué ce qui suit.

La conversion de l'échelle de gris est effectuée pour améliorer la précision d'extraction. Comme dans la section précédente, la taille de l'image est uniformément convertie en 200 px x 200 px à des fins de comparaison.

`feature_detection.py`


#!/usr/bin/env python
# -*- coding: UTF-8 -*-

"""feature detection."""

import cv2
import os

TARGET_FILE = '05.png'
IMG_DIR = os.path.abspath(os.path.dirname(__file__)) + '/images/'
IMG_SIZE = (200, 200)

target_img_path = IMG_DIR + TARGET_FILE
target_img = cv2.imread(target_img_path, cv2.IMREAD_GRAYSCALE)
target_img = cv2.resize(target_img, IMG_SIZE)

bf = cv2.BFMatcher(cv2.NORM_HAMMING)
# detector = cv2.ORB_create()
detector = cv2.AKAZE_create()
(target_kp, target_des) = detector.detectAndCompute(target_img, None)

print('TARGET_FILE: %s' % (TARGET_FILE))

files = os.listdir(IMG_DIR)
for file in files:
    if file == '.DS_Store' or file == TARGET_FILE:
        continue

    comparing_img_path = IMG_DIR + file
    try:
        comparing_img = cv2.imread(comparing_img_path, cv2.IMREAD_GRAYSCALE)
        comparing_img = cv2.resize(comparing_img, IMG_SIZE)
        (comparing_kp, comparing_des) = detector.detectAndCompute(comparing_img, None)
        matches = bf.match(target_des, comparing_des)
        dist = [m.distance for m in matches]
        ret = sum(dist) / len(dist)
    except cv2.error:
        ret = 100000

    print(file, ret)

Dans de rares cas, j'utilise "essayer sauf" pour cracher "cv2.error". J'ai essayé la méthode d'extraction avec AKAZE et ORB.

`Résultat d'exécution (AKAZE)`


TARGET_FILE: 05.png
01.png 143.925
02.png 134.05
03.png 140.775
04.png 127.8
06.png 148.725

`Résultat d'exécution (ORB)`


TARGET_FILE: 05.png
01.png 67.59139784946237
02.png 58.60931899641577
03.png 59.354838709677416
04.png 53.59498207885304
06.png 63.55913978494624

Puisque la distance est calculée, la valeur de la même image exacte est 0, et plus la valeur est petite, plus la similitude est élevée. Dans les deux méthodes implémentées, la similitude entre 05.png et 04.png est élevée comme dans la section précédente.

Résumé

Une certaine précision peut être obtenue sans utiliser le Deep Learning
Effectuer la conversion de l'échelle de gris et la conversion de taille selon la méthode
Dans le cas de l'extraction de points caractéristiques, il est difficile de comparer des images avec des orientations différentes, alors laissez-les comparer des images avec la même orientation.
Par exemple, j'estime qu'il est facile de comparer des images de cartes d'identité d'employés toujours orientées vers l'avant.
Oinu-sama est DIEU.