J'ai appris le calcul des coûts MeCab, alors je l'ai résumé. Veuillez indiquer si quelque chose ne va pas.
MeCab effectue une analyse morphologique à l'aide du dictionnaire enregistré. Si un mot (mot inconnu) qui n'est pas enregistré dans le dictionnaire apparaît, il sera divisé en fonction du coût de chaque mot. Parmi eux, ** celui avec le coût total le plus bas ** est produit en conséquence.
Cette fois, nous utiliserons le dictionnaire ipadic-neologd pour vérifier comment le mot fictif "village allemand américain" est analysé morphologiquement.
echo American German Village|mecab -d C:\neologd -N2
Nom américain,Nomenclature propriétaire,zone,Pays,*,*,Amérique,Amérique,Amérique
Substantif allemand,Nomenclature propriétaire,zone,Pays,*,*,Allemagne,Allemagne,Allemagne
Village substantif,suffixe,zone,*,*,*,village,village,village
EOS
Nom américain,Nomenclature propriétaire,zone,Pays,*,*,Amérique,Amérique,Amérique
Village allemand substantif,Nomenclature propriétaire,Général,*,*,*,Village allemand,Village allemand,Village allemand
EOS
Spécifiez le dictionnaire avec -d et listez le nombre de candidats spécifié par l'option NUM. De cette manière, deux types de divisions pour des mots inconnus ont été répertoriés comme candidats. Cette division n'est-elle pas assez convaincante pour nous?
Avant d'entrer dans le calcul des coûts, parlons de la façon d'enregistrer le dictionnaire MeCab. Le dictionnaire est
Type de surface,ID de contexte gauche,ID de contexte correct,Coût,Partie,Partie細分類1,Partie細分類2,Partie細分類3,Type d'utilisation,Type d'utilisation,Prototype,en train de lire,prononciation
Enregistrez-le en tant que fichier csv, puis créez le dictionnaire. En regardant ça, ・ ** ID de contexte gauche ** ・ ** ID de contexte correct ** · ** Coût ** Il contient un mot inconnu. Ce sont les informations utilisées pour l'analyse morphologique de MeCab.
Le ** coût d'occurrence ** est la ** difficulté d'apparaître ** du mot lui-même. Plus la valeur est élevée, moins le mot apparaîtra. Le coût de l'occurrence est la valeur de ** cost ** du dictionnaire enregistré précédemment. Alors, quel a été le coût du «village allemand américain»?
echo American German Village|mecab -F "%m,%c,\n" -d C:\neologd -N2
Amérique, 4698,
Allemagne, 2543,
village, 8707,
EOS
Amérique, 4698,
Village allemand, 611,
EOS
Utilisez% m pour afficher le type de couche de surface et% c pour afficher le coût de l'occurrence. Une question se pose ici. Le coût total devrait évidemment être inférieur pour le second, mais le premier candidat à la sortie est le premier résultat. La raison en est l'existence d'un nouveau coût, ** coût d'articulation **.
** Le coût de concaténation ** est la difficulté de concaténer les ID de contexte de deux mots. Plus la valeur est petite, plus elle a de chances d'être continue. L'ID de contexte correspond à ** l'ID de contexte gauche et l'ID de contexte droit ** du dictionnaire. Fondamentalement, cet identifiant semble avoir la même valeur au moment de l'enregistrement. Par exemple, considérez le mot «avant et après». L'ID de contexte «avant» est 1314 et l'ID de contexte «après» est 1313. Le coût de connexion est déterminé par la combinaison de l'ID de contexte gauche et de l'ID de contexte droit. Une liste de combinaisons peut être trouvée dans matrix.def (ou matrix.bin) situé dans MeCab \ dic \ ipadic. En regardant ça,
1314 1313 -316
1313 1314 716
Le coût de connexion étant faible (-316) de l'avant vers l'arrière, il est facile de continuer, et de l'arrière vers l'avant, le coût de connexion est élevé (716) et il est difficile de continuer. Je pense que c'est également assez convaincant. Jetons un coup d'œil à "American German Village".
echo American German Village|mecab -F"%m,%phl,%phr,%c,%pc,%pn\n" -d C:\neologd -N2
Amérique,1294,1294,4698,3746,3746
Allemagne,1294,1294,2543,-141,-3887
village,1303,1303,8707,881,1022
EOS
Amérique,1294,1294,4698,3746,3746
Village allemand,1288,1288,611,2614,-1132
EOS
La commande MeCab peut être résumée comme suit.
| commander | La description |
|---|---|
| %m | Type de surface |
| %phl | ID de contexte gauche |
| %phr | ID de contexte correct |
| %c(Ou%pw) | Coût de l'événement |
| %pc | Coût de connexion+Coût d'occurrence de mot(Cumulable depuis le début de la phrase) |
| %pn | Coût de connexion+Coût d'occurrence de mot(Sa morphologie seule, %pw+%pC) |
Toutes les commandes peuvent être trouvées sur ici. Étant donné que le résultat est difficile à comprendre, je vais également le tabuler.
| Type de surface | ID de contexte gauche | ID de contexte correct | Coût de l'événement | Concaténation + occurrence(Accumulation) | Enchaînement+Occurrence(Seul) |
|---|---|---|---|---|---|
| Amérique | 1294 | 1294 | 4698 | 3746 | 3746 |
| Allemagne | 1294 | 1294 | 2543 | -141 | -3887 |
| village | 1303 | 1303 | 8707 | 881 | 1022 |
| Amérique | 1294 | 1294 | 4698 | 3746 | 3746 |
| Village allemand | 1288 | 1288 | 611 | 2614 | -1132 |
Veuillez noter que ** BOS et EOS reçoivent également des ID de contexte **. Ainsi, le coût de connexion de la première "Amérique" est de matrix.def
0 1294 -952
Ce sera. Par conséquent, le coût cumulé est de 4698-952 = 3746. Ensuite, regardons "l'Allemagne". Les ID de contexte gauche et droit sont 1294 et le coût de connexion est -6430, ce qui est assez faible. (Il est rare que les noms de pays continuent d'affilée ...) Le coût cumulé était de (3746 + 2543) -6430 = -141 et 2543-6430 = -3887 en lui-même, conformément au calcul. De plus, bien qu'elle ne soit pas sortie, la vérification finale est effectuée car EOS a également un ID de contexte. Le coût de connexion de l'ID de contexte 1303 → 0 est de 5 et le coût cumulé de l'ID de contexte 1288 → 0 est de -919. En comparant les coûts cumulés, 886 et 1695 sont les coûts les plus bas, donc le mystère que j'ai mentionné plus tôt a été résolu.
Comprendre les coûts de MeCab. Calcul des coûts MeCab appris à Nippon Television Tokyo Découvrez les coulisses de l'analyse morphologique japonaise! Comment MeCab analyse morphologiquement
Recommended Posts