[PYTHON] Calcul de similarité entre les épisodes précurseurs à l'aide de la chronologie en direct et du modèle de sujet

Cet article est l'article du 18e jour du Precure Advent Calendar 2015. Nous sommes le 19 décembre aujourd'hui, mais je crois que tous ceux qui aiment Precure me pardonneront avec un cœur plus large que la mer!

Cet article et cette expérience sont destinés à être WIP.

Introduction Je veux calculer la similitude entre cette histoire et cette histoire dans cet anime, ou je veux me regrouper entre des histoires similaires. Quel genre de moyens existe-t-il dans un tel cas? Une façon de faire est d'utiliser la chronologie en direct de Twitter. Étant donné que la chronologie en direct permet au spectateur de tweeter la situation et les impressions tout en regardant l'animation, elle peut être considérée comme un document qui explique l'animation dans une correspondance individuelle avec l'épisode de l'animation. Ce document = la similitude entre les chronologies d'animation en direct peut être utilisé comme un indice de la similitude entre les épisodes.

Cette fois, j'aimerais calculer la similitude entre chaque épisode de Go! Princess Precure avec cette politique. Plus précisément, calculons la similitude entre les chronologies en direct de chaque histoire à l'aide de LDA (Latent Dirichlet Allocation), qui est l'un des modèles de sujet.

Outils à utiliser, etc.

• python
• gensim
• mecab-ipadic-neologd
• igraph

Les données

--2015 / 2/1 (Episode 1) ~ 2015/12/13 (Episode 44) Chronologie en direct Go! Princess Precure sur Twitter (37 épisodes au total car il arrive parfois que l'enregistrement de la chronologie ait échoué )

• Enregistrez ce que vous avez tweeté avec # precure entre 8h20 et 9h30
• Exclut les retweets (seuls les tweets originaux sont comptés)
• Le nombre de tweets à chaque fois est de 15 000 à 48 000 (hors retweets) -Analyse morphologique avec mecab-ipadic-neologd
• Exclure les mots vides tels que "", "n", "this", etc. ――Les deux mots «Precure» et «Princess» sont exclus car ils peuvent être considérés comme des mots universels communs à toutes les histoires (j'étais perdu, mais cela donnait de meilleurs résultats).

Les 20 premiers mots apparaissant dans ces cas sont les suivants.

Kirara 31344
Bonjour 25404
Personne 21358
Bon 19218
M. 19092
Dream 17395
Minami 17061
Haruharu 15956
Temps 15824
Towa 14579
Kanata 14426
Yui 13961
Fermer 13844
Mignon 13311
Fermer 13049
Puff 11786
Devenir 11757
Relooking 10679
Voir 10342
Twinkle 9483

Glitter fort. Les deux mots «précure» et «princesse» sont à l'origine au-dessus de Kirara.

Expérience

À propos de LDA

L'explication correcte de LDA est impossible pour moi maintenant. Mais vous avez Google.

Expliquant LDA jusqu'à l'explication des termes, LDA déduit des sujets potentiels à partir de la documentation. Par exemple, dans le cas d'articles d'actualité, ce sujet correspond intuitivement à des catégories telles que «politique», «sports» et «art». La LDA suppose qu'un document contient potentiellement un certain pourcentage de chaque sujet et représente le document comme une distribution stochastique de sujets. Autrement dit, un document a 80% de chances de parler de politique, 15% d'art, 3% de sport, etc. Je vais. De plus, dans LDA, chaque sujet correspond à la distribution des probabilités d'occurrence de mot. En d'autres termes, dans le thème «politique», «Obama» apparaît avec une probabilité de 7%, «Trump» avec une probabilité de 5%, «Abe» avec une probabilité de 3%, etc.

J'expliquerai le flux à partir d'ici en le remplaçant par la chronologie en direct precure. Une chronologie précise en direct pour un épisode est un long document qui décrit cet épisode. Dans Precure, il y a des moments qui se concentrent sur un personnage spécifique, comme les scènes et les moments en gros plan de Haruno Haruka, appelés "temps de Haruka". À partir de maintenant, nous supposerons que ces «temps Haruka» et «temps Kirara» sont des sujets potentiels qui existent dans la chronologie en direct précure. J'ai écrit qu'un sujet est la probabilité qu'un mot apparaisse. Dans le cas de Go! Princess Pretty Cure, le sujet «Kirara» aura une forte probabilité d'apparaître dans des mots tels que «scintillement», «beignet» et «mode».

Tout d'abord, analysons l'intégralité de la chronologie en direct de 37 Go! Princess Precure et calculons les sujets existants. Ensuite, dans le sujet que j'ai trouvé, j'ai calculé combien chaque fois était "Kirara times", "Haruka times", ... ou "Times qui n'appartiennent à personne". Je vais continuer.

Je l'ai écrit pendant longtemps, mais le fait est que dans le calcul de la similitude entre les chronologies en direct, "Haruka times", "Minami times", "Kirara times", "Towa times", "Who's" Il est utilisé comme une technologie de compression de dimension, qui est un petit index intuitif appelé "le temps qui n'est pas une chose".

L'implémentation LDA utilise une bibliothèque Python appelée gensim.

Extraire les sujets

Comme mentionné précédemment, lorsque LDA donne un ensemble de documents, il déduit les sujets qui existent dans l'ensemble de documents. Vous devez définir vous-même le nombre de sujets. Nous allons définir le nombre de sujets à 5 en supposant un sujet pour chacun des quatre Go! Princess Precure et un sujet qui n'appartient à aucun autre Precure. (Temps Haruka, temps Minami, temps Kirara, temps Towa, en supposant des temps qui n'appartiennent à personne)

Les sujets déduits en conséquence sont les suivants. Le «nombre * mot» est la probabilité qu'un mot apparaisse dans le sujet mentionné ci-dessus.

topic #0 (0.200): 0.009*Bonne journée+ 0.007*Towa+ 0.007*Homme+ 0.006*m+ 0.006*Yui+ 0.005*Bien+ 0.005*Clé+ 0.005*Transformer+ 0.005*rêver+ 0.005*Écarlate
topic #1 (0.200): 0.009*Yui+ 0.008*proche+ 0.007*Kanata+ 0.007*Haruharu+ 0.007*rêver+ 0.006*Fois+ 0.006*Bien+ 0.005*Sud+ 0.005*Homme+ 0.005*désespoir
topic #2 (0.200): 0.020*Kirara+ 0.010*Bonne journée+ 0.006*Homme+ 0.006*Bien+ 0.006*Haruharu+ 0.005*rêver+ 0.005*scintillement+ 0.005*proche+ 0.005*Fois+ 0.005*mignonne
topic #3 (0.200): 0.014*Sud+ 0.007*Haruharu+ 0.007*Bonne journée+ 0.006*Bien+ 0.006*Kirara+ 0.005*proche+ 0.005*Homme+ 0.005*Kanata+ 0.005*かわBien+ 0.004*m
topic #4 (0.200): 0.010*m+ 0.009*Kanata+ 0.008*Towa+ 0.008*fermer+ 0.007*Homme+ 0.006*Fois+ 0.006*Bonne journée+ 0.005*Bien+ 0.005*rêver+ 0.005*Sud

C'est plus comme ça que ce à quoi je m'attendais. C'est surprenant que Yui-chan soit apparu fortement, mais plus je regardais la chronologie en direct, plus je me sentais. «Haruka», «Minami», «Kirara» et «Towa» n'ont pas été décidés comme étant les ingrédients maximum, mais il n'y avait pas de honte.

Degré de similitude

Calculez la similitude cosinus entre les documents, en traitant chaque document comme une caractéristique de chaque document (c'est-à-dire en traitant chaque document comme un vecteur à 5 dimensions composé des 5 sujets ci-dessus). Ensuite, les similitudes suivantes peuvent être obtenues.

Cela peut être subtil. N'est-ce pas trop pic comme 0.0 ou 0.99?

Essayez de dessiner un réseau

Dessinons un réseau entre les documents en utilisant la similitude ci-dessus. Ici, nous allons créer un bord dans le graphique dynamique en créant un bord entre les documents avec une similitude de 0,99 ou plus. De plus, chaque nœud est étiqueté "Haruka times", "Minami times", "Kirara times", "Towa times" et "Other times" à ma discrétion, et est respectivement rose, bleu, jaune, rouge et blanc. Je l'ai colorée. Ce serait bien si les temps des mêmes personnes étaient proches les uns des autres en termes de réseau.

La bibliothèque Python igraph est utilisée pour construire et dessiner le réseau.

Je suis content que la cohésion jaune et blanche semble forte. Cependant, les autres ne sont ni clairs ni subtils. "Kirara" apparaît fréquemment, et le sujet Kirara peut apparaître plus fortement que d'autres.

Conclusion

** Résultats subtils. ~ Terminé ~ ** Voici les raisons possibles pour lesquelles les résultats ne sont pas bons.

• Le nombre de documents est petit. LDA est généralement utilisé pour le nombre de documents de l'ordre de 4 ou 5 chiffres, et le nombre de documents de 37 est extrêmement faible. Pour cette raison, nous avons augmenté le nombre de passes de calcul cette fois, mais il est envisageable de prendre des mesures telles que gonfler les documents dupliqués tout en les gardant fluctuants.
• Le calcul de similitude peut être étrange. Je pense que 0,0 ou 0,99 est trop pointu.

Cette expérience en elle-même n'est pas un bon résultat, mais je pense personnellement que la politique de "deviner les épisodes d'anime à partir de la chronologie de l'animation en direct" est intéressante (c'est parce qu'il y a déjà des recherches sur le sport). Ce n'est pas nouveau). Tout en passant en revue les résultats de cette période, je continuerai à faire quelque chose ici.