[PYTHON] Überprüfen Sie "Fucking Deca" + "Rashomon" mit word2vec

Vorwort

Nachdem ich Kusodeka Rashomon gelesen hatte, fand ich eine bestimmte Regel im Text. Jedes Wort des ursprünglichen Rashomon ist ein verdammtes Deka.

Mit anderen Worten, mit word2vec "Kusodeka" + "Rashomon" = "Fucking Deca Rashomon" Kann reproduziert werden.

Ich habe auch gelernt, wie man Gensim und Sudapipy benutzt.

Überprüfung

Erstellen Sie eine Umgebung auf Python.

pip install sudachipy         #Morphologischer Analysator Sudachi
pip install sudachidict_core  #Sudachis Wörterbuch
pip install gensim            #Bibliothek zum Ausführen von word2vec

Dann habe ich den japanischen Wortvektor [chiVe] heruntergeladen (https://github.com/WorksApplications/chiVe). (v.1.1 mc90)

Code

Überprüfen Sie, ob die morphologische Analyse mit Sudachi funktioniert.

python


from sudachipy import tokenizer
from sudachipy import dictionary

tokenizer_obj = dictionary.Dictionary().create()
mode = tokenizer.Tokenizer.SplitMode.A

[m.surface() for m in tokenizer_obj.tokenize("Von den Oberschenkeln und Oberschenkeln", mode)]
# ['Sumomo', 'Ebenfalls', 'EbenfallsEbenfalls', 'EbenfallsEbenfalls', 'von', 'Zuhause']

Überprüfen Sie als Nächstes, ob word2vec mit gensim funktioniert.

python


import gensim.models
from gensim.test.utils import datapath

file_path = "./chive-1.1-mc90-20200318/chive-1.1-mc90-20200318.txt"
wv = gensim.models.KeyedVectors.load_word2vec_format(datapath(file_path), binary=False)

for i in wv.most_similar(positive=['Dodekai']):
    print(i)

# ('Groß', 0.7684822082519531)
# ('enorm', 0.677775502204895)
# ('Blöd', 0.5706542730331421)
# ('Dokan', 0.5430377125740051)
# ('Enorm', 0.5240563154220581)
# ('Dodon', 0.5237661600112915)
# ('Übergroß', 0.5200765132904053)
# ('Dokan', 0.5147513151168823)
# ('groß', 0.5112403631210327)
# ('Deke', 0.4992992877960205)

Rashomon Der Text wird von Aozora Bunko abgerufen. Ich habe die HTML-Quelle kopiert und wie folgt verarbeitet, um den Rubin zu entfernen.

python


import re

text = """Es ist die Lebensweise eines Tages. eine Person<ruby><rb>Bürgerlicher</rb><rp>(</rp><rt>Genin</rt><rp>)</rp></ruby>Aber,...
...
"""

plane_text = re.sub('<ruby>.*</ruby>|<br />|\n|\u3000', '', text)
wakati_text = [[m.surface(), m.part_of_speech()] for m in tokenizer_obj.tokenize(plane_text, mode)]
wakati_text

# [['Gibt es', ['Verb', 'Nicht unabhängig', '*', '*', 'Fünf Schritte-La Linie', 'Endform-Allgemeines']],
#  ['Tag', ['Substantiv', '普通Substantiv', 'Anwalt möglich', '*', '*', '*']],
#  ['von', ['Partikel', '格Partikel', '*', '*', '*', '*']],
#  ['Wie man lebt', ['Substantiv', '普通Substantiv', 'Allgemeines', '*', '*', '*']],
#  ['von', ['Partikel', '格Partikel', '*', '*', '*', '*']],
# ...

Es ist endlich die Produktion. Es ist Zeit, "Fucking Deca" + "Rashomon" auszuprobieren.

python


kusodeka_text = []
for word in wakati_text:
    if word[1][0] in ['Partikel', 'Hilfssymbol', 'Verbindung']:
        kusodeka_text.append(word[0])
    else:
        try:
            kusodeka_text.append(wv.most_similar(positive=['Dodekai', word[0]])[0][0])
        except:
            kusodeka_text.append(word[0])  #Wenn nicht im Wortwörterbuch

Ergebnis

Es ist eine große am Ende eines Monats.
Ich wartete in einem großen Hals auf den Regen.
Es gibt kein großes, großes, großes, großes, großes, großes, großes, großes.
Es ist riesig, aber es ist riesig, es ist riesig, es ist riesig, es ist riesig.
Es ist riesig, aber dieses große ist nicht zu groß.
Wenn es um große Dinge geht, lebt dieses große Erdbeben in Osaka.
Am Ende ist es riesig, auch wenn es groß ist, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß.
Dann, als der Große verschwand, wollte er den Großen noch schlimmer machen, und er wurde von dem Großen getroffen.
Anstatt riesig zu sein, schaute ich auf den riesigen fallenden Hals, während ich riesig war.
Der Große war groß. "Der Große wartete auf den Regen."
Selbst wenn es stark regnet, sollte es groß sein, aber es sollte groß sein.
Es ist normalerweise groß, aber es ist groß, groß, groß und groß.
Weil es riesig ist, ist es im April und Mai riesig und es ist riesig.
Groß schreiben Groß groß groß groß, groß groß Osaka groß groß versucht seinen Lebensunterhalt zu verdienen - ich versuche einen großen großen zu verdienen Während ich dem Riesen und dem Riesen folgte, hörte ich das Geräusch des Großen und des Großen und des Großen und des Großen fallen.
Es ist groß und es ist groß, also ist es groß und es ist groß.
Der Große ist groß, der Große ist groß, der Große ist groß, der Große ist groß, der Große ist groß, der Große ist groß und der Große ist groß und der Große ist groß und der Große ist groß.
Es ist nur eine große Ablehnung eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen, eines großen. Es gab keine große Sache.
Der Große ging an einen großen und großen Ort.
Der Große ging zum großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen großen
Weil es riesig ist, ist es vor dem großen.
Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Es ist riesig und wird beim Rollen reflektiert, sodass es sofort als riesig bekannt ist.
Mitten in dieser regnerischen Nacht muss dieses riesige, große, große, große groß sein, also muss es groß sein, nur groß.
Der Große ist riesig.
Für groß und groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
Es ist riesig.
Der Große ist jedoch groß, der Große ist groß, der Große ist groß und der Große ist groß.
Es ist riesig, aber fast alles hat den Geruch dieses riesigen weggenommen.
Der große Reflex war groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
Wenn die Haare riesig sind, wird es ein riesiger Mann sein.
Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big Big big
Es scheint, dass die Haare entsprechend der großen Größe abfallen.
Wenn das große Haar nacheinander abfällt, verschwindet das große nach dem anderen vom großen.
Groß, groß, groß, groß, groß, großer Hass, der sich Stück für Stück bewegt, groß, groß.
»Es war riesig und es brannte so nieder.
Es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß.
Daher weiß ich auf rationale Weise nicht, ob es in Ordnung ist, das große Ding in ein großes großes zu verwandeln.
Aber für die großen Jungs, dieses große, große, große Haar, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
Der Große ist jedoch riesig, aber der Große ist groß und groß, und der Große ist groß und groß.
Also hat der Große einen Großen auf einem Bein und plötzlich geht es von groß nach groß.
Großes großes Schwert großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes großes
Unnötig zu sagen, ich war überrascht, wie groß es war.
Groß ist groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
"Wo kommst du hin?
Der Große ist der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große, der Große.
"Ich war riesig.
Sagen.
Das ist sozusagen auch groß. ""
Der Große ist groß, der Große ist groß, der Große ist groß, der Große ist groß, der Große ist groß, der Große ist groß und der Große ist groß. Es ist riesig, aber es ist riesig.
Also ist der Große ein Großer, der den Großen weicher macht, während er einen Großen macht.
"Es muss riesig und groß sein und versuchen, es groß zu machen.
Es ist jedoch riesig, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß. ""
Groß und groß, groß offen-groß groß Reflex, groß groß groß groß groß groß schützen groß groß.
Eine riesige Hosenstimme, eine riesige und riesige Stimme, die an eine riesige und riesige übertragen wird.
"Es ist riesig, dieses Haar herauszuziehen, es ist riesig, dieses Haar herauszuziehen und so weiter."
Die große Frage ist groß und die große enttäuschend.
Es ist groß, aber es ist entmutigt, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß.
"Es ist riesig, ich habe gehört, er hat es gekauft.
Der Große ist nicht der Große dieses Mannes.
Es ist riesig, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß.
Übrigens, es ist riesig, es ist riesig, es ist riesig, es ist riesig, es ist riesig.
Das ist auch sehr groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß.
Nun, ein großer großer großer großer Kerl, ein großer großer großer großer großer großer großer großer Kerl wird herauskommen. ""
Groß ist groß, groß, groß, groß, groß.
Ein großes Schwert ist groß, aber Sie müssen es hören.
Es ist jedoch notwendig, dies zu hören, und für die Großen und Großen gibt es eine Große und Große und Große.
Der Große ist groß und groß, und dieser Große ist groß und groß.
Groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß. Gibt es.
Der Große hätte sich nicht fragen sollen, ob er groß oder groß ist.
Die meisten großen, wie große und große, wurden von großen, großen und großen rausgeschmissen.
"Groß groß."
Es ist groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
"Dann habe ich einen großen Groll zu versuchen.
Es ist groß und groß, aber es ist auch groß und groß. ""
Der Große ist groß und zieht schnell die großen japanischen Kleider aus.
Es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß, es ist groß.
Es ist ein großer Schritt, ein großer Schritt zu einem großen.
Der große ist ein großer mit einer großen, ausgezogenen japanischen Kleidung an der Seite und einem anderen großen, einem großen, einem großen und einem großen mitten in der Nacht.
Für eine Weile ist es tot, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
Der Große murmelt groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß, groß.
Es ist riesig und von dort aus gibt es eine riesige, riesige Nacht.
Ich weiß nicht einmal, wie groß es ist.
。

Recommended Posts

Überprüfen Sie "Fucking Deca" + "Rashomon" mit word2vec
Word2Vec mit BoUoW
Word2vec mit Theano + Keras implementiert
Emotionsanalyse von Python (word2vec)
Ich habe Word2Vec mit Pytorch gemacht