[PYTHON] Différence dans les résultats de l'analyse morphologique selon le dictionnaire Mecab

À propos de cet article

• Sentiment fait pour expliquer mecab quelque part
• Décrivez essentiellement la différence entre mecab et mecab-ipadic-NEologd --Sauvetage.

Qu'est-ce que l'analyse morphologique?

L'analyse morphologique est l'une des méthodes de traitement du langage naturel également utilisées dans les moteurs de recherche. Elle décompose une phrase / phrase en «unités minimales (= mots) qui ont un sens». Il est utilisé pour juger du contenu des phrases et des phrases.
Site de référence

À propos de mecab

Aperçu

MeCab est un moteur d'analyse morphologique open source développé dans le cadre du projet d'unité commune de recherche de la Graduate School of Informatics, Kyoto University-Nippon Telegraph and Telephone Corporation, Research Institute for Communication Science. La politique de base est une conception à usage général qui ne dépend pas de la langue, du dictionnaire ou du corpus. Les champs aléatoires conditionnels (CRF) sont utilisés pour estimer les paramètres. Il fonctionne également plus rapidement que ChaSen, Juman et KAKASI en moyenne. À propos, Mekabu est un favori de l'auteur.

Fonctionnalité

-Design universel indépendant du dictionnaire et du corpus -Haute précision d'analyse basée sur le champ de probabilité conditionnelle (CRF) -Plus rapide que ChaSen et KAKASI -Adopte Double-Array, qui est une structure TRIE à grande vitesse, pour l'algorithme de recherche de dictionnaire / la structure de données. -Bibliothèque réentrante -Diverses liaisons de langage de script (perl / ruby / python / java / C #)

Comparaison

Données du dictionnaire

• Dictionnaire IPA
  Dictionnaire IPA, un dictionnaire dont les paramètres sont estimés par CRF à partir du corpus IPA.
• Dictionnaire humain
  Juamn Dictionary, un dictionnaire dont les paramètres sont estimés par CRF à partir du Kyoto Corpus.
• Dictionnaire unidique
  Dictionnaire Unidic, un dictionnaire estimé par CRF à partir du corpus BCCWJ. --mecab-ipadic-NEologd dictionnaire
  mecab-ipadic-NEologd est un dictionnaire système pour MeCab personnalisé en ajoutant de nouveaux mots obtenus à partir de nombreuses ressources linguistiques sur le Web.
• Avantages
• Environ 3,12 millions de paires (y compris les entrées en double) de la couche de surface (notation) et des paires de mots frigana telles que des expressions uniques qui ne peuvent pas être correctement divisées par le dictionnaire système standard de MeCab sont enregistrées.
• Ce dictionnaire est mis à jour automatiquement sur le serveur de développement, et sera mis à jour au moins deux fois par semaine.
• Comme il utilise des ressources linguistiques sur le Web, de nouvelles expressions uniques peuvent être enregistrées au moment de la mise à jour. Les ressources actuellement utilisées sont les suivantes. --Vider les données du mot clé Hatena
• Téléchargement de données de code postal --Un coin de la liste des noms de stations à l'échelle nationale
• Données d'entrée du nom de la personne (nom / prénom)
• Données qui sont une entrée d'adverbes qui ne sont pas enregistrées dans le dictionnaire IPA --Données des entrées pour les adjectifs non enregistrés dans le dictionnaire IPA
• Données qui sont une entrée de verbes adjectifs qui ne sont pas enregistrés dans le dictionnaire IPA
• Données qui sont une entrée d'une entrée de verbe en mouvement qui n'est pas enregistrée dans le dictionnaire IPA
• Données qui sont une entrée d'une liste de chaînes de caractères de fluctuation de notation de nomenclature générale / nomenclature propre et leurs ensembles de prototypes
• Données qui sont une entrée d'une liste de chaînes de caractères de fluctuation de notation et de leurs ensembles prototypes
• Données qui sont une entrée de mots qui ont le même modèle que les mots de notation réduits qui ont tendance à apparaître sur SNS.
• Données avec un pseudonyme ajoutés manuellement aux pictogrammes sous Unicode 9.0
• Données ajoutées manuellement avec un pseudonyme aux caractères du visage qui peuvent être saisis sur l'appareil iOS ou l'appareil Android dans l'état initial
• Une liste de noms de montagnes japonaises --Patch pour corriger les erreurs évidentes (fautes de frappe, omissions, etc.) liées au pseudonyme de lecture des entrées contenues dans le dictionnaire IPA --Patch pour fixer les coûts d'occurrence morphologique des entrées contenues dans le dictionnaire IPA
• Données créées sous forme d'entrées en générant des expressions temporelles et des expressions numériques à l'aide de modèles prédéfinis
• Données avec entrées de nouveaux mots et mots inconnus extraites d'articles de presse
• Données qui saisissent les mots, expressions idiomatiques et balises de hachage populaires sur le net --Grande quantité de données de document analysées à partir du Web
• Désavantage
• Classification insuffisante des expressions uniques
• Les mots qui ne sont pas des expressions uniques sont également enregistrés en tant qu'expressions uniques.
• La correspondance entre la notation d'expression unique et Frigana peut être incorrecte. --Toutes les informations relatives à la partie de l'adverbe ajouté sont "addjunct, general ,,,,"
• Le seul code de caractère pris en charge est UTF-8.

neologd

$ echo "Brillance Instagram" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Nom digne d'Instagram,Nomenclature propriétaire,Général,*,*,*,Brillance Instagram,Insta fly,Insta fly
EOS

$ echo "Brillance Instagram" | mecab 
Insta substantif,Général,*,*,*,*,*
Shine substantif,Général,*,*,*,*,Éclat,Mouches,Mouches
EOS

$ echo "Sérieusement" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Sérieusement substantif,Nomenclature propriétaire,Général,*,*,*,Sérieusement,Sérieusement,Sérieusement
EOS

$ echo "Sérieusement" | mecab 
Substantif sérieux,Racine du verbe adjectif,*,*,*,*,sérieusement,Vraiment,Vraiment
卍 non,Général,*,*,*,*,卍,Manji,Manji
EOS

$ echo "Tapiru" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Tapi substantif,Nomenclature propriétaire,Général,*,*,*,Tapi,Tapi,Tapi
Verbe auxiliaire,*,*,*,Langue littéraire,Connexion Word,Ri,Le,Le
EOS

$ echo "Tapiru" | mecab
Tapi substantif,Général,*,*,*,*,*
Verbe auxiliaire,*,*,*,Langue littéraire,Forme basique,Ru,Le,Le
EOS

$ echo "Agemizawa" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Agemizawa substantif,Nomenclature propriétaire,Général,*,*,*,Agemizawa,Agemizawa,Agemizawa
EOS

$ echo "Agemizawa" | mecab 
Raise Verbe,Indépendance,*,*,Un pas,Type continu,Donner,Âge,Âge
Verbe mi,Non indépendant,*,*,Un pas,Type continu,Vue,Mi,Mi
Zawa substantif,Nomenclature propriétaire,Organisation,*,*,*,*
EOS

$ echo "Pêche Azamaru" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Azamaru Fisheries Nominal,Nomenclature propriétaire,Général,*,*,*,Pêche Azamaru,Azamaru Suisan,Azamaru Suisan
EOS

$ echo "Pêche Azamaru" | mecab 
Aza substantif,Général,*,*,*,*,Aza,Aza,Aza
Préfixe Maru,Plusieurs connexions,*,*,*,*,Maru,Maru,Maru
Nomenclature des pêches,Général,*,*,*,*,Pêche,Suisan,Suisan
EOS

$ echo "Instagram" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Nomenclature Instagram,Nomenclature propriétaire,Général,*,*,*,Instagram,Instagram,Instagram
EOS

$ echo "Instagram" | mecab 
Nomenclature Instagram,Nomenclature propriétaire,Organisation,*,*,*,*
EOS

$ echo "Kemio" | mecab 
Assistant Ke,Aide finale,*,*,*,*,Ke,Ke,Ke
Verbe mi,Indépendance,*,*,Un pas,Type continu,Vue,Mi,Mi
O verbe,Non indépendant,*,*,Cinq étapes, La ligne,Connexion Word spéciale 2,Oru,Oh,Oh
EOS

$ echo "Kemio" | mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/
Kemio substantif,Nomenclature propriétaire,Nom d'une personne,Général,*,*,Kemio,Chimio,Chimio
EOS

Comment utiliser dans le code (UNIX et python3)

mecab.py

import MeCab

t = MeCab.Tagger ('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')#mecab-ipadic-NEologd
t = MeCab.Tagger ("-Ochasen")#Guy standard

text = 'Texte que vous souhaitez analyser'
t.parse('')#Empêcher les chaînes d'être GC
m = t.parseToNode(text)
while m:
    if m.feature.split(',')[0] == 'nom':
        print(m.surface)  

result

Nomenclature AWS,Nomenclature propriétaire,Général,*,*,*,AWS,Services Web Amazon,Services Web Amazon
Nomenclature célèbre,Racine du verbe adjectif,*,*,*,*,Célèbre,Yumei,Yumei
Nomenclature des services,Changer de connexion,*,*,*,*,un service,un service,un service
Amazon substantif,Nomenclature propriétaire,Général,*,*,*,Amazon,Amazone,Amazone
Substantif élastique,Nomenclature propriétaire,Général,*,*,*,Elastic,Élastique,Élastique
Calculer substantif,Général,*,*,*,*,*
Nuage substantif,Général,*,*,*,*,*

le terme

• Champs aléatoires conditionnels

C'est l'un des modèles graphiques probabilistes représentés par des graphes non orientés et c'est un modèle discriminant. L'étiquetage des séries vise à recevoir une chaîne de données (par exemple, une chaîne de mots) en entrée et à étiqueter les données individuelles en sortie. Par exemple, il y a un problème de donner des informations de paroles de partie à une chaîne de mots (entrée: «I / ha / run» ⇒ sortie: «nom / assistant / verbe»). Est fait.
Le CRF pour résoudre l'étiquetage de séquence est appelé le CRF à chaîne linéaire.
Site de référence: [Explication technique] CRF (Conditional Random Fields)