[PYTHON] Je veux exprimer mes sentiments avec les paroles de Mr. Children

introduction

Le titre est "Que dit cette personne ...?" (Rires) .. J'ai essayé de le faire en utilisant 4 jours fériés consécutifs ainsi qu'en étudiant le traitement du langage naturel. Dans un proche avenir, je le rendrai disponible sur le Web quelque part.

Concept et image terminée

Au moment où j'ai trouvé cette histoire, j'ai écrit la situation actuelle (telle quelle) → problèmes → ce qu'elle devrait être (être). Comme prévu, un homme d'affaires (rires)

Le mécanisme suivant est apparu lorsque j'ai réfléchi à la façon de le fabriquer. ↓ Créez en interne un ensemble de données de paroles mistil et convertissez-le en Word2Vec. Le traitement Word2Vec est également effectué sur mes sentiments, et des paroles similaires sont tirées par la similitude.

PoC était fait!

J'ai essayé rapidement de réaliser l'image d'ensemble ci-dessus. Résultat ... ** Pour mon sentiment que "je ne peux pas dormir" ** ** "Devenez membre de la société et portez le fardeau sur mon dos-pour être rappelé-vers la lumière" ** est le premier Je suis revenu. Eh ... je l'ai lu si profondément ... lol

Ce que vous utilisez

Analyse morphologique: janome.tokenizer Word2Vec: word2vec dans gensim.models

from janome.tokenizer import Tokenizer
from gensim.models import word2vec

Les paroles sont déchiquetées par analyse morphologique et Word2Vec est utilisé pour chaque mot. Enfin, en obtenant la moyenne des vecteurs, Word2Vec avec un ensemble de paroles est complété.

Word2Vec partie du texte

# skip-gram Mr.Paroles pour enfants(sentences)Alors, faites un modèle w2v.
skipgram_model = word2vec.Word2Vec(sentences,
                                   sg=1,
                                   size=250,
                                   min_count=2,
                                   window=10, seed=1234)



#Est-ce que Word2Vec pour chaque mot qui a été analysé morphologiquement, et enfin moyenne la fonction => Word2Vec peut-il refléter le contexte des paroles?
def avg_document_vector(data, num_features):
    document_vec = np.zeros((len(data), num_features))
    for i, doc_word_list in enumerate(data):
        feature_vec = np.zeros((num_features,), dtype="float32")
        for word in doc_word_list:
            try:
                feature_vec = np.add(
                    feature_vec, skipgram_model.wv.__getitem__(word))
            except:
                pass

        feature_vec = np.divide(feature_vec, len(doc_word_list))
        document_vec[i] = feature_vec
    return document_vec

en conclusion

J'ai trouvé intéressant de convertir des mots en vecteurs et de voir le degré d'accord. Je veux aussi étudier BERT. Il est urgent d'augmenter le nombre de chansons afin de faire de cette pièce un service. (Au 29 juillet 2020: 5 chansons .. lol) Je continuerai à accumuler des chansons régulièrement.

Même ainsi, je suis heureux d'avoir pu jouer à ce genre de jeu pendant les quatre vacances consécutives, car il semble que mes compétences progressent! !!