[PYTHON] Vérifiez "Fucking Deca" + "Rashomon" avec word2vec

Préface

Après avoir lu Kusodeka Rashomon, j'ai trouvé une certaine règle dans le texte. Chaque mot du Rashomon original est une putain de déca.

En d'autres termes, avec word2vec "Kusodeka" + "Rashomon" = "Putain de Deca Rashomon" Peut être reproduit.

J'ai également appris à utiliser gensim et sudapipy.

Vérification

Créez un environnement sur python.

pip install sudachipy         #Analyseur morphologique sudachi
pip install sudachidict_core  #dictionnaire de sudachi
pip install gensim            #Bibliothèque pour exécuter word2vec

Ensuite, j'ai téléchargé le vecteur de mot japonais chiVe. (v.1.1 mc90)

code

Vérifiez si l'analyse morphologique fonctionne avec sudachi.

python


from sudachipy import tokenizer
from sudachipy import dictionary

tokenizer_obj = dictionary.Dictionary().create()
mode = tokenizer.Tokenizer.SplitMode.A

[m.surface() for m in tokenizer_obj.tokenize("Des cuisses et des cuisses", mode)]
# ['Sumomo', 'Aussi', 'AussiAussi', 'AussiAussi', 'de', 'domicile']

Ensuite, vérifiez si word2vec fonctionne avec gensim.

python


import gensim.models
from gensim.test.utils import datapath

file_path = "./chive-1.1-mc90-20200318/chive-1.1-mc90-20200318.txt"
wv = gensim.models.KeyedVectors.load_word2vec_format(datapath(file_path), binary=False)

for i in wv.most_similar(positive=['Dodekai']):
    print(i)

# ('Gros', 0.7684822082519531)
# ('énorme', 0.677775502204895)
# ('Stupide', 0.5706542730331421)
# ('Dokan', 0.5430377125740051)
# ('Énorme', 0.5240563154220581)
# ('Dodon', 0.5237661600112915)
# ('Énorme', 0.5200765132904053)
# ('Dokan', 0.5147513151168823)
# ('gros', 0.5112403631210327)
# ('Deke', 0.4992992877960205)

Rashomon Le texte est extrait d'Aozora Bunko. J'ai copié la source HTML et l'ai traitée comme suit pour supprimer le rubis.

python


import re

text = """C'est le mode de vie un jour. une personne<ruby><rb>Roturier</rb><rp>(</rp><rt>Genin</rt><rp>)</rp></ruby>Mais,...
...
"""

plane_text = re.sub('<ruby>.*</ruby>|<br />|\n|\u3000', '', text)
wakati_text = [[m.surface(), m.part_of_speech()] for m in tokenizer_obj.tokenize(plane_text, mode)]
wakati_text

# [['y a-t-il', ['verbe', 'Non indépendant', '*', '*', 'Cinq étapes-La ligne', 'Forme finale-Général']],
#  ['journée', ['nom', '普通nom', 'Avocat possible', '*', '*', '*']],
#  ['de', ['Particule', '格Particule', '*', '*', '*', '*']],
#  ['Comment vivre', ['nom', '普通nom', 'Général', '*', '*', '*']],
#  ['de', ['Particule', '格Particule', '*', '*', '*', '*']],
# ...

C'est finalement la production. Il est temps d'essayer "Fucking Deca" + "Rashomon".

python


kusodeka_text = []
for word in wakati_text:
    if word[1][0] in ['Particule', 'Symbole auxiliaire', 'conjonction']:
        kusodeka_text.append(word[0])
    else:
        try:
            kusodeka_text.append(wv.most_similar(positive=['Dodekai', word[0]])[0][0])
        except:
            kusodeka_text.append(word[0])  #Sinon dans le dictionnaire de mots

résultat

C'est une grosse au bout d'un mois.
J'attendais la pluie dans une grosse gorge.
Il n'y a pas de gros, gros, gros, gros, gros, gros, gros, gros.
Cependant, c'est énorme, mais c'est énorme, c'est énorme, c'est énorme, c'est énorme.
C'est énorme, mais ce gros n'est pas trop gros.
Quand il s'agit de grandes choses, ce grand tremblement de terre vit à Osaka.
Au final, c'est énorme, même si c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros.
Puis, quand le gros a disparu, il a voulu aggraver le grand, et il a été frappé par le gros.
Au lieu d'être énorme, je regardais l'énorme gorge qui tombait.
Le grand était grand, "Le grand attendait la pluie."
Cependant, même s'il pleut beaucoup, il devrait être gros, mais il devrait être gros.
C'est généralement gros, mais c'est gros, gros, gros et gros.
Parce que c'est énorme, c'est énorme en avril et mai, et c'est énorme.
Ecrire en grand Big big big big big big big big big big big essayant de gagner ma vie - j'essaye d'en faire un gros gros J'écoutais les gros et gros sons du gros et gros et gros et gros tombant tout en traçant le gros et le gros.
C'est gros et c'est gros, donc c'est gros et c'est gros.
Le grand est grand, le grand est grand, le grand est grand, le grand est grand, et le grand est grand, et le grand est grand, et le grand est grand, et le grand est grand.
C’est juste un grand déni d’un gros, et un gros, un gros, un gros, un gros, un gros, un gros, un gros, un gros, un gros et un gros. , Il n'y avait pas grand-chose.
Le grand est allé dans un endroit grand et grand.
Le grand est allé au gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros
Parce que c'est énorme, c'est devant le grand.
Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Grand C'est énorme et cela se reflète en roulant, donc on sait immédiatement que c'est énorme.
Au milieu de cette nuit pluvieuse, cet énorme, gros, gros, gros, doit être grand, donc il doit être grand, juste grand.
Le gros est énorme.
Pour gros et gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
C'est énorme.
Cependant, le grand est grand, le grand est grand, le grand est grand et le grand est grand.
C'est énorme, mais presque tout a enlevé l'odeur de cet énorme.
Le gros réflexe était gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
Si les cheveux sont énormes, ce sera un homme énorme.
Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big big
Il semble que les cheveux se détachent en fonction de la taille énorme.
Au fur et à mesure que les gros cheveux se détachent un par un, le gros disparaît un à un du grand.
Grande, grande, grande, grande, grande, grande haine, se déplaçant petit à petit, grand, grand.
«C'était énorme et ça brûlait comme ça.
Pour les cheveux gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
Par conséquent, d'une manière rationnelle, je ne sais pas s'il est acceptable de rejeter le gros problème en un gros gros.
Mais pour les grands, ces gros, gros, gros cheveux, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
Cependant, le grand est énorme, mais le gros est grand et grand, et le grand est grand et grand.
Donc, le gros a un gros sur une jambe, et tout à coup ça passe du gros au gros.
Grande grosse épée gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros gros
Inutile de dire que j'ai été surpris de sa taille.
Big est grand, grand, grand, grand, grand, grand, grand, grand, grand, grand, grand, grand, grand, grand.
"Où venez-vous?
Le grand est le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand, le grand.
«J'étais énorme.
Dire.
C'est aussi gros, pour ainsi dire. "
Le grand est grand, le grand est grand, le grand est grand, le grand est grand, le grand est grand, le grand est grand et le grand est grand. C'est énorme, mais c'est énorme.
Donc, le gros est un gros, adoucissant le gros tout en faisant un gros.
«Il doit être énorme et grand, essayer de le faire grand.
Cependant, c'est énorme, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros. "
Grand et grand, grand ouvert-grand grand réflexe, gros gros gros gros gros gros protéger gros gros.
Une voix de pantalon énorme, une voix énorme et énorme transmise à un énorme et énorme.
"C'est énorme d'arracher ces cheveux, c'est énorme d'arracher ces cheveux, et ainsi de suite."
La grande question est grande et la grande est décevante.
C'est gros, mais c'est découragé, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros.
«C'est énorme, j'ai entendu dire qu'il l'avait acheté.
Le gros n'est pas le gros gros de cet homme.
C'est énorme, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros.
Au fait, c'est énorme, c'est énorme, c'est énorme, c'est énorme, c'est énorme, c'est énorme.
C'est aussi très gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros.
Eh bien, un grand grand grand grand homme, un gros gros gros gros gros gros gros gars sortira gros gros gros gros gros gros. "
Grand est grand, grand, grand, grand, grand.
Une grosse épée est grosse, mais vous devez l'écouter.
Cependant, il faut l'entendre, et pour les grands et les grands, il y a un grand et un grand et un grand.
Le grand est grand et grand, et ce grand est grand et grand.
Big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big, big. y a-t-il.
Le grand n'aurait pas dû se demander s'il était grand ou grand.
La plupart des gros, comme les gros et les gros, ont été expulsés par des gros, des gros, des gros.
"Gros gros?"
C'est gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
«Alors, j'ai une grande rancune à essayer.
C'est grand et grand, mais c'est aussi grand et grand. "
Le grand est grand, dépouillant rapidement les gros vêtements japonais.
C'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros, c'est gros.
C'est un grand pas vers un grand.
Le grand est un grand avec un gros vêtement japonais dépouillé de côté, et un autre gros, un grand, un grand et un grand au milieu de la nuit.
Pendant un certain temps, c'est mort, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
Le grand murmure gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros, gros.
C'est énorme, et à partir de là, il y a une nuit énorme, immense.
Je ne sais même pas quelle est sa taille.
。

Recommended Posts

Vérifiez "Fucking Deca" + "Rashomon" avec word2vec
Word2Vec avec BoUoW
Implémentation de word2vec avec Theano + Keras
Analyse des émotions par Python (word2vec)
J'ai créé Word2Vec avec Pytorch