[PYTHON] [Note] WordCloud à partir de l'analyse morphologique

Déplacez le texte qui se trouvait dans le fichier python vers un autre fichier

textmining_source.txt


Qu'est-ce qu'un échafaudage?
Un outil pratique qui définit automatiquement toutes les actions de base en plus de créer les routes, les contrôleurs et les vues nécessaires au développement de Rails.

[Bonté de l'échafaudage que j'ai personnellement ressentie]
(1) Non seulement la création d'un contrôleur, mais également la définition automatique de 7 actions de base
Sept actions, "index", "show", "new", "edit", "create", "update" et "destroy", sont automatiquement définies dans le contrôleur créé par scaffold. Par conséquent, vous pouvez rapidement parcourir, créer, modifier ou supprimer des données sans avoir à définir vos propres actions.

(2) Le routage correspondant au contrôleur créé est également défini automatiquement.
routes après la commande scaffold.Dans rb, "ressources:La description «Nom du contrôleur» a été ajoutée et le routage correspondant au contrôleur nouvellement créé est automatiquement défini.

③ Toutes les vues correspondant aux actions définies dans le contrôleur sont générées automatiquement.
Lorsque l'échafaudage est utilisé, tous les fichiers de vue correspondant aux actions définies dans le contrôleur sont également générés automatiquement.

④ Le modèle et le fichier de migration nécessaires sont également générés automatiquement.
Dans l'échafaudage, si vous spécifiez "nom de colonne: type de données" lors de la saisie d'une commande, un modèle et un fichier de migration contenant les informations spécifiées seront automatiquement générés.
Par conséquent, le reste est "$ rake db:Vous pouvez facilement créer des tables de base de données en entrant simplement la commande "migrate". (Les détails de cette zone seront décrits plus tard)

→ Bien sûr, je pense que c'est un peu différent (ou plutôt du gaspillage) de créer une application à publier dans le monde en utilisant un échafaudage, mais personnellement je vais créer un prototype pour implémenter la fonction qui m'intéresse à titre d'essai. Je trouve cela extrêmement pratique ci-dessus.

Ainsi, la procédure de création d'une application Rails à l'aide de l'échafaudage est décrite ci-dessous.
C'est vraiment facile, alors si vous le souhaitez, essayez-le!

Et enfin la visualisation à l'aide de WordCloud

with open('textmining_source.txt') as f:
    text = f.read()

keywords = t.parse(text)

words = []
for x in keywords.split("\n"):
    word = x.split("\t")[0]
    if word == "EOS":
        break
    else:
        category = x.split("\t")[1].split(",")[0]
        if category == "nom":
                words.append(word)
        else:
            category = x.split("\t")[1].split(",")[0]
            if category == "adjectif":
                words.append(word)

splitted =' '. join(words)
keywords = splitted.replace(',',' ')
 
wordcloud = WordCloud(
    background_color="white",
    stopwords={"chose","cette","Pour","Il","Au fait","Yo","de","Etc.","chose"},
    font_path="NotoSansCJKjp-hinted/NotoSansCJKjp-Regular.otf",
    width=800,height=600).generate(keywords)
 
 
wordcloud.to_file("./textmining_result.png ")

<Résultat de sortie> WordCloud スクリーンショット 2019-11-19 0.01.02.png

À propos, ce qui suit est une visualisation du célèbre discours de Steve Jobs dans WordCloud. Il semble que vous pouvez avoir une idée de toute l'histoire simplement en la regardant!

Deuxième histoire スクリーンショット 2019-11-19 0.36.18.png

Troisième histoire スクリーンショット 2019-11-19 0.34.46.png

Recommended Posts

[Note] WordCloud à partir de l'analyse morphologique
Collecte d'informations sur Twitter avec Python (analyse morphologique avec MeCab)
[Python] Analyse morphologique avec MeCab
Analyse morphologique japonaise avec Janome
Python: texte japonais: analyse morphologique
Analyse ChIP-seq à partir de zéro
Traitement du langage naturel 1 Analyse morphologique
Analyse morphologique japonaise avec Python
[PowerShell] Analyse morphologique avec SudachiPy
De l'introduction de JUMAN ++ à l'analyse morphologique du japonais avec Python
100 coups de traitement du langage 2020: Chapitre 4 (analyse morphologique)
100 Language Processing Knock 2020 Chapitre 4: Analyse morphologique
Text mining avec Python ① Analyse morphologique
100 Traitement du langage Knock Chapitre 4: Analyse morphologique
■ [Google Colaboratory] Utiliser l'analyse morphologique (janome)
■ [Google Colaboratory] Utiliser l'analyse morphologique (MeCab)
J'ai joué avec Mecab (analyse morphologique)!
[Traitement du langage 100 coups 2020] Chapitre 4: Analyse morphologique
100 Language Processing Knock 2015 Chapitre 4 Analyse morphologique (30-39)
De la préparation à l'analyse morphologique avec python en utilisant polyglotte au marquage des mots partiels