[PYTHON] Génération de légende d'image avec Chainer
Aperçu
J'ai implémenté la génération de légendes d'image à l'aide de Chainer. Lorsque vous entrez une image, sa description sera générée. Le code source est ci-dessous. https://github.com/dsanno/chainer-image-caption
J'ai utilisé l'algorithme dans l'article suivant. Show and tell: A neural image caption generator
Certaines personnes ont déjà implémenté la génération de sous-titres dans Chainer, alors j'y ai également fait allusion. Image caption generation by CNN and LSTM ～ Satoshi's Blog from Bloomington
Modèle de génération de légende
Le modèle de génération de sous-titres utilisé dans le document est à peu près divisé en trois réseaux.
--Convertir l'image en vecteur $ {\ rm CNN} $ $ {\ rm CNN} $ inclut GoogleNet et VGG_ILSVRC_19_layers Utilisez un modèle existant pour la classification des images tel que / 3785162f95cd2d5fee77 # file-readme-md).
- Incorporation de mots $ W_e $ --Entrez un vecteur et affichez la probabilité d'occurrence du mot suivant $ {\ rm LSTM} $
Modèle utilisé pour la mise en œuvre
Étant donné que la mémoire du GPU était insuffisante si l'implémentation était telle qu'elle était dans le papier, je l'ai changée et implémentée.
--Convertir l'image en vecteur $ {\ rm CNN} $ (Entrée: 224 x 224 x Sortie 3D: 4096 dimensions)
- Incorporation de mots (conversion de mot en vecteur) $ W_e $ (entrée: sortie d'ID de mot: 512 dimensions) - $ {\ rm LSTM} $ (sortie de 512 dimensions d'entrée: 512 dimensions) - $ {\ rm LSTM} $ Convertir la sortie en probabilité d'occurrence des mots $ W_w $ (entrée 512 dimensions sortie:
dimensions) Je vais expliquer en fonction du modèle de l'article suivant, mais je pense qu'il n'est pas difficile de le remplacer par le modèle réellement utilisé Je vais. Apprentissage du modèle Les objectifs d'apprentissage sont $ W_e $ et $ {\ rm LSTM} $. $ {\ rm CNN} $ utilise les paramètres entraînés tels quels.
Les données d'entraînement sont l'image $ I $ et la chaîne de mots $ \ {S_t \} (t = 0 ... N) $. Cependant, $ S_0 $ est le symbole de début de l'instruction \ <S > et $ S_N $ est le symbole de fin \ </ S >. Apprenez comme suit.
- Entrez l'image $ I $ dans $ {\ rm CNN} $ et extrayez la sortie d'une couche intermédiaire spécifique en tant que vecteur de caractéristiques.
- Entrez le vecteur de caractéristiques dans $ {\ rm LSTM} $.
- Entrez $ S_t $ dans l'ordre de $ t = 0 $ à $ N-1 $ et obtenez $ p_ {t + 1} $ à chaque étape.
- Minimisez le coût obtenu à partir de la probabilité de sortie de $ S_ {t + 1} $ $ p_ {t + 1} (S_ {t + 1}) $
Probabilité logarithmique négative en tant que fonction de coût dans l'article
L(I,S)=-\sum_{t=1}^{N}\log p_t(S_t)
J'ai utilisé, mais dans ma mise en œuvre, j'ai utilisé l'entropie croisée softmax. De plus, dans l'article, le paramètre a été mis à jour par SGD sans élan, mais dans mon implémentation, j'ai utilisé Adam (le paramètre est la valeur recommandée du papier Adam). .. J'ai également essayé de l'implémenter avec la vraisemblance logarithmique et la SGD, mais il semble qu'il n'y ait aucun mérite simplement parce que la convergence de l'apprentissage est ralentie, mais je ne comprends pas pourquoi elle est adoptée dans le document. J'ai aussi utilisé le décrochage comme dans le papier. Dans l'article, j'ai mentionné que des «modèles d'assemblage» étaient utilisés, mais je ne l'ai pas implémenté car je ne connaissais pas la méthode d'implémentation spécifique.
Génération de légende
Lors de la génération d'une légende à l'aide d'un modèle entraîné, la probabilité d'occurrence de mot est calculée dans l'ordre à partir du début, comme indiqué ci-dessous, et la chaîne de mots avec le produit le plus élevé de la probabilité d'apparition des mots est utilisée comme légende.
- Entrez l'image dans $ {\ rm CNN} $ et extrayez la sortie d'une couche intermédiaire spécifique en tant que vecteur d'entités.
- Entrez le vecteur de caractéristiques dans $ {\ rm LSTM} $.
- Convertissez le symbole de début de l'instruction \ <S > en vecteur à l'aide de $ W_e $ et entrez-le dans $ {\ rm LSTM} $.
- Puisque la probabilité d'apparition des mots peut être connue à partir de la sortie de $ {\ rm LSTM} $, sélectionnez les mots $ M $ supérieurs.
- Convertissez le mot produit à l'étape précédente en un vecteur en utilisant $ W_e $ et entrez-le dans $ {\ rm LSTM} $.
- À partir de la sortie de $ {\ rm LSTM} $, calculez le produit des probabilités des mots sortis jusqu'à présent et sélectionnez les M chaînes de mots supérieures.
- Répétez les étapes 5 et 6 jusqu'à ce que le mot de sortie soit le symbole de fin \ </ S >.
Dans cette implémentation, nous définissons $ M = 20 $
Données d'entraînement
Pour les données d'entraînement, nous avons utilisé l'ensemble de données d'image avec l'annotation de MSCOCO. Cependant, au lieu des données diffusées par MSCOCO, j'ai utilisé les données diffusées sur les sites suivants. Les données vectorielles de caractéristiques extraites de l'image à l'aide de VGG_ILSVRC_19_layers et les données de chaîne de mots d'annotation sont distribuées sur ce site. En utilisant ces données, nous avons pu éviter le problème de l'extraction du vecteur de caractéristiques de l'image et le problème du prétraitement de l'annotation (division de la phrase en mots).
Deep Visual-Semantic Alignments for Generating Image Descriptions
Selon le site suivant, les données d'annotation de MSCOCO semblent difficiles à gérer en raison de fortes fluctuations de notation (les phrases commencent par des majuscules ou des minuscules, avec ou sans points).
Parmi les mots inclus dans les données d'apprentissage, seuls les mots qui apparaissent 5 fois ou plus ont été utilisés, et les autres ont été appris comme des mots inconnus.
Évaluation des légendes générées
Il semble qu'il existe des indicateurs tels que BLEU, METEOR et CIDER pour évaluer les légendes générées, mais cette fois je n'ai pas calculé les indicateurs.
Exemple de génération de sous-titres
Les légendes ont été générées à l'aide d'images du domaine public téléchargées depuis PublicDomainPictures.net. Placez le top 5 des chaînes de caractères générées.
l'horloge
```
a clock on the side of a building
a clock that is on the side of a building
a clock on the side of a brick building
a close up of a street sign on a pole
a clock that is on top of a building
```
Le contrôle du trafic est-il en cours? Officier de police
```
a man riding a skateboard down a street
a man riding a skateboard down a road
a man riding a skateboard down the street
a man riding a skateboard down a sidewalk
a man riding a skateboard down the side of a road
```
planche à roulette. .. .. ??
Femme avec une raquette de tennis
```
a woman holding a tennis racquet on a tennis court
a man holding a tennis racquet on a tennis court
a woman holding a tennis racquet on a court
a woman holding a tennis racquet on top of a tennis court
a man holding a tennis racquet on a court
```
Les deuxième et cinquième sont «homme», mais parfois je prends l'homme pour la femme.
Canapé vivant
```
a cat laying on top of a bed
a cat sitting on top of a bed
a cat sitting on top of a couch
a black and white cat laying on a bed
a cat laying on a bed in a room
```
Il semble que le coussin soit pris pour un chat.
Certains ont été générés correctement, tandis que d'autres étaient clairement erronés.
Les références
- Oriol Vinyals, Alexander Toshev, Samy Bengio, et al. Show and tell: A neural image caption generator . 2015
- Diederik Kingma, Jimmy Ba Adam: A Method for Stochastic Optimization. 2014
- MSCOCO
- Deep Visual-Semantic Alignments for Generating Image Descriptions
- Image caption generation by CNN and LSTM ～ Satoshi's Blog from Bloomington
- J'ai résumé l'ensemble de données Microsoft COCO (MS COCO) - je peux avoir 3 tasses de riz sur le thème de l'intelligence artificielle
Recommended Posts