Liste des outils qui peuvent être utilisés pour essayer facilement l'analyse des émotions des phrases japonaises avec Python (essayez avec google colab)
- J'ai recherché et essayé un outil qui peut être installé avec pip et peut être utilisé lorsque vous voulez facilement essayer l'analyse des émotions.
- C'est l'histoire que j'ai trouvée le 08/08/2020.
- Je n'entrerai pas dans les détails sur la méthode d'analyse des émotions des phrases japonaises dans cet article, mais je pense que les articles suivants sont organisés de manière facile à comprendre.
- [Traitement du langage naturel] Comment procéder avec l'analyse des émotions et les points auxquels il est facile de devenir accro --Qiita
- Analyse émotionnelle des données de bouche-à-oreille d'entreprise sur les réunions de changement de carrière utilisant le deep learning - Qiita
Liste des outils pouvant être utilisés pour essayer facilement l'analyse des émotions
Il est répertorié ci-dessous sous forme à puces.
- asari
- Une histoire sur la fabrication et l'emballage d'un analyseur de sentiments japonais --Ahogrammer
- Uniquement en utilisant TfidfVectorizer et LinearSVC de sklearn --Performance comparable aux prévisions BERT
- Ensemble de données d'entraînement inconnu
- Licence MIT
- Site de démonstration
- oseti
- La bibliothèque d'analyse des sentiments oseti pour Python utilisant le dictionnaire de polarité d'évaluation japonais a été publiée --Qiita --Base de dictionnaire --Mise en œuvre simple
- Licence MIT
- pymlask
- Analyse des émotions textuelles avec ML-Ask --Qiita
- a Python version of ML-Ask (eMotive eLement and Expression Analysis system) ――Estimer 10 types d'émotions {joie, colère, tristesse, peur, honte, bien, 厭, 昂, pas cher, surprise} par correspondance de motifs avec un dictionnaire de 2100 mots
- The BSD 3-Clause License
Installation des bibliothèques requises
Voici la méthode d'installation sur google colab.
Si vous souhaitez l'essayer localement, modifiez la méthode d'installation en conséquence.
#Installez MeCab
!apt install mecab libmecab-dev mecab-ipadic-utf8
!pip install mecab-python3
# mecab-ipadic-Installez NEologd
!apt install git make curl xz-utils file
!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
!echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n -a
# Ref: https://qiita.com/Fulltea/items/90f6ebe6dcceaf64eaef
# Ref: https://qiita.com/SUZUKI_Masaya/items/685000d569452585210c
!ln -s /etc/mecabrc /usr/local/etc/mecabrc
# Ref: https://qiita.com/Naritoshi/items/8f55d7d5cce9ce414395
#Bibliothèque d'analyse des émotions
!pip install asari oseti pymlask
Préparation des données
Le texte utilisé comme entrée pour l'analyse des émotions provient d'Aozora Bunko.
Je l'ai ramassé.
list_text = [
'Cette personne doit être la personne la plus heureuse du monde.',
'La salle de spectacle était magnifique et les clients étaient également merveilleux.',
'Si c'était au Moyen Âge, il aurait probablement été brûlé.',
'Quand il s'agissait de l'agacement de tout le monde, c'était comme si les mouches bourdonnaient dans la bouteille.',
'Si nous, les humains, pouvons trouver cela, nous devrions pouvoir vivre plus longtemps avant d'être enterrés dans la terre.'
]
asari
- Source code: asari --Article explicatif: L'histoire de la fabrication et de l'emballage d'un analyseur de sentiments japonais --Ahogrammer --Méthode: --Utilisez uniquement scikit-learn --Le texte est converti en une représentation vectorielle avec tf-idf (terme fréquence – fréquence inverse du document), et il est jugé comme un problème de classification si le texte est positif ou négatif en utilisant la machine à vecteurs de support du noyau linéaire. «On dit que la performance est comparable à la prédiction de BERT, qui est un modèle d'apprentissage en profondeur. ―― Comme on ne sait pas quel ensemble de données d'entraînement a été utilisé pour l'apprentissage, on ne sait pas quel type de phrases peut être utilisé pour un jugement approprié. (issue) --Licence: MIT
- Site de démonstration
#Contrôle de fonctionnement simple
from asari.api import Sonar
sonar = Sonar()
res = sonar.ping(text="Trop d'annonces ♡")
res
{'classes': [{'class_name': 'negative', 'confidence': 0.9086981552962491},
{'class_name': 'positive', 'confidence': 0.0913018447037509}],
'text': 'Trop d'annonces ♡', 'top_class': 'negative'}
list(map(sonar.ping, list_text))
[{'classes': [{'class_name': 'negative', 'confidence': 0.10382535749585702},
{'class_name': 'positive', 'confidence': 0.896174642504143}],
'text': 'Cette personne doit être la personne la plus heureuse du monde. ', 'top_class': 'positive'}, {'classes': [{'class_name': 'negative', 'confidence': 0.035517582235360945}, {'class_name': 'positive', 'confidence': 0.964482417764639}], 'text': 'La salle de spectacle était magnifique et le public était merveilleux. ', 'top_class': 'positive'}, {'classes': [{'class_name': 'negative', 'confidence': 0.5815274190768989}, {'class_name': 'positive', 'confidence': 0.41847258092310113}], 'text': 'Si c'était au Moyen Âge, il aurait probablement été brûlé. ', 'top_class': 'negative'}, {'classes': [{'class_name': 'negative', 'confidence': 0.2692695045573754}, {'class_name': 'positive', 'confidence': 0.7307304954426246}], 'text': 'Quand il s'agit de l'agacement de tout le monde, c'était comme si les mouches bourdonnaient dans la bouteille. ', 'top_class': 'positive'}, {'classes': [{'class_name': 'negative', 'confidence': 0.050528495655525495}, {'class_name': 'positive', 'confidence': 0.9494715043444746}], 'text': `` Si nous, les humains, pouvons arriver à cela, nous devrions pouvoir vivre plus longtemps avant d'être enterrés dans la terre '', 'top_class': 'positive'}]
La phrase: "Quand il s'agit de l'agacement de tout le monde, c'était comme si les mouches bourdonnaient dans la bouteille." La phrase était intuitivement négative, mais elle a été jugée positive.
Il semble y avoir un jugement raisonnable pour d'autres exemples.
oseti
- Source code: oseti --Article explicatif: La bibliothèque d'analyse des sentiments oseti pour Python utilisant le dictionnaire de polarité d'évaluation japonais a été publiée --Qiita --Méthode:
- Dictionnaire japonais de la polarité d'évaluation Base --Si l'expression négative est à la fin de la phrase, le négatif et le positif sont inversés (code) --C'est intéressant car la fin de la phrase "Il n'y a pas" est prise en considération (code) --Licence: MIT
#Contrôle de fonctionnement simple
import oseti
analyzer = oseti.Analyzer()
analyzer.analyze('J'attends au paradis.')
[1.0]
list(map(analyzer.analyze, list_text))
[[0.0], [1.0], [0], [0], [1.0]]
La deuxième phrase, "Le théâtre était merveilleux et les clients étaient merveilleux."
Quand
Cinquième phrase "Si nous, les humains, pouvons trouver cela, nous devrions pouvoir vivre plus longtemps avant d'être enterrés dans la terre."
Seul jugement positif (+1), jugement neutre pour les autres phrases.
Après tout, l'impression que le dictionnaire est basé sur un dictionnaire est faible par rapport aux mots qui ne sont pas inclus dans le dictionnaire.
pymlask
L'auteur du package est le même que oseti.
- Source code: pymlask --Article explicatif: Analyse des émotions de texte avec ML-Ask --Qiita --Méthode:
- ML-Ask (eMotive eLement and Expression Analysis system) Un package qui vous permet d'utiliser la bibliothèque avec python. ――Estimer 10 types d'émotions {joie, colère, tristesse, peur, honte, bien, 厭, 昂, pas cher, surprise} par correspondance de motifs avec un dictionnaire de 2100 mots --Licence: La licence BSD à 3 clauses
#Contrôle de fonctionnement simple
import mlask
emotion_analyzer = mlask.MLAsk()
emotion_analyzer.analyze('Je ne le déteste pas!(;´Д`)')
# => {'text': 'Je ne le déteste pas!(;´Д`)',
# 'emotion': defaultdict(<class 'list'>,{'yorokobi': ['Haine*CVS'], 'suki': ['Haine*CVS']}),
# 'orientation': 'POSITIVE',
# 'activation': 'NEUTRAL',
# 'emoticon': ['(;´Д`)'],
# 'intension': 2,
# 'intensifier': {'exclamation': ['！'], 'emotikony': ['´Д`', 'Д`', '´Д', '(;´Д`)']},
# 'representative': ('yorokobi', ['Haine*CVS'])
# }
{'activation': 'NEUTRAL',
'emoticon': ['(;´Д`)'],
'emotion': defaultdict (liste, {'suki': ['n'aime pas * CVS'], 'yorokobi': ['n'aime pas * CVS']}),
'intensifier': {'emotikony': ['´Д', 'Д', '´Д', '(;´Д)'], 'exclamation': ['！']}, 'intension': 2, 'orientation': 'POSITIVE', 'représentant': ('yorokobi', ['n'aime pas * CVS']), 'text': 'Je ne le déteste pas! (; ´Д) '}
#C'est un gros problème, alors je vais essayer d'utiliser le dictionnaire neologd
# mecab-ipadic-Découvrez où installer neologd
import subprocess
cmd='echo `mecab-config --dicdir`"/mecab-ipadic-neologd"'
path = (subprocess.Popen(cmd, stdout=subprocess.PIPE,
shell=True).communicate()[0]).decode('utf-8')
emotion_analyzer = mlask.MLAsk('-d {0}'.format(path)) # Use other dictionary
list(map(emotion_analyzer.analyze, list_text))
[{'activation': 'NEUTRAL',
'emoticon': None,
'emotion': defaultdict (liste, {'yorokobi': ['bonheur']}), 'intensifier': {}, 'intension': 0, 'orientation': 'POSITIVE', 'représentant': ('yorokobi', ['happy']), 'text': 'Cette personne doit être la personne la plus heureuse du monde. '}, {'emotion': Aucun, 'text': 'La salle de spectacle était merveilleuse et le public était merveilleux. '}, {'emotion': Aucun, 'text': 'Si c'était au Moyen Âge, il aurait probablement été brûlé. '}, {'emotion': Aucun, 'text': 'Quand il s'agit de l'agacement de tout le monde, c'était comme si les mouches bourdonnaient dans la bouteille. '}, {'emotion': None, 'text': 'Si nous, les humains, pouvons trouver cela, nous devrions pouvoir vivre plus longtemps avant d'être enterrés dans la terre'}]]
Cette méthode est également jugée positive s'il y a un mot (bonheur) dans le dictionnaire, mais il est impossible de juger s'il n'est pas dans le dictionnaire.
Impression que le résultat n'est pas bon.
Résumé
J'ai essayé un outil qui facilite l'analyse des émotions des phrases japonaises.
Merci d'avoir publié ces outils.
Si vous voulez faire une analyse émotionnelle sérieuse et obtenir des résultats plus raisonnables, vous devrez probablement ajouter un traitement en fonction de la catégorie de phrase qui convient à votre objectif, ou utiliser des techniques de réseau neuronal (dans ce cas, l'ensemble de données). C'est difficile à créer).
référence
Commentaire, article de synthèse
- [[27 publié] Résumé des ensembles de données pouvant être utilisés pour l'analyse des émotions des phrases, des expressions faciales et des voix | Lionbridge AI](https://lionbridge.ai/ja/datasets/15-free-sentiment-analysis-datasets-for-machine -apprentissage /)
- Liens vers les ressources et les dictionnaires de polarité, etc.
- [Traitement du langage naturel] Comment procéder avec l'analyse des émotions et les points auxquels il est facile de devenir accro --Qiita
- Une histoire sur la fabrication et l'emballage d'un analyseur de sentiments japonais --Ahogrammer
- Analyse émotionnelle des données de bouche à oreille d'entreprise sur les réunions de changement de carrière utilisant le deep learning --Qiita
- J'ai essayé d'analyser les émotions de tout le roman "L'enfant du temps" ☔️ --Qiita
- La bibliothèque d'analyse des sentiments oseti pour Python utilisant le dictionnaire de polarité d'évaluation japonais a été publiée --Qiita
- Analyse des émotions textuelles avec ML-Ask --Qiita
Ensemble de données japonais d'analyse des émotions
- SNOW D18: Dictionnaire japonais des expressions émotionnelles - Laboratoire de traitement du langage naturel de l'Institut de technologie de Nagaoka
- Université de technologie de Nagaoka, Laboratoire de traitement du langage naturel ――Environ 2000 expressions sont enregistrées, et chaque expression reçoit 48 catégories d'émotions que nous avons définies indépendamment.