[PYTHON] Vous devenez ingénieur en 100 jours ――Jour 66 ――Programmation ――À propos du traitement du langage naturel

Cliquez ici jusqu'à hier

À partir de ce moment, il s'agit de traitement du langage naturel.

Qu'est-ce que le traitement du langage naturel?

Les langues que les humains ont spontanément utilisées, comme l'anglais et le japonais, sont appelées «langues naturelles».

D'autre part, les langages artificiels basés sur des règles telles que «langage de programmation» sont appelés «langages formels» pour les distinguer.

Qu'est-ce que le «traitement du langage naturel»? Laissez l'ordinateur traiter le «langage naturel» que les humains utilisent quotidiennement. Il fait référence à une série de technologies.

De nombreuses techniques sont incluses dans le «traitement du langage naturel».

Principales technologies de traitement du langage naturel

Le système technique de traitement du langage naturel est comme ça.

Nom	Contenu
Analyse morphologique	Une méthode de division en éléments morphologiques et de discrimination de la partie de chaque élément morphologique
Analyse	Une méthode de division en éléments morphologiques et de clarification des relations entre eux et les relations syntaxiques en les traçant.
Analyse sémantique	Une méthode d'interprétation du sens d'une phrase à l'aide d'un dictionnaire de concepts, etc.
Analyse contextuelle	Une méthode pour vérifier la connexion de plusieurs phrases

Lors du traitement du japonais avec un ordinateur, l'analyse morphologique est une technique de base. Puisque la langue change de jour en jour, il est difficile pour les ordinateurs de la gérer.

Parce que les humains ne traitent pas complètement les informations linguistiques, mais font des interprétations «raisonnables» à partir d'un grand nombre d'interprétations. La «validité» devient difficile à mettre en œuvre sur un ordinateur.

Il est assez difficile de faire plus que l'analyse sémantique et de futures recherches sont attendues.

À propos de l'analyse morphologique

L'analyse des éléments de formulaire sépare les phrases en la plus petite unité de mots appelée éléments morphologiques. C'est une méthode pour distinguer la partie de chaque morphologie.

** Séparation **

C'est une manière d'écrire avec un espace entre les mots comme en anglais. Watashi Ga Hentai Death I had Lewd Death

** Analyse morphologique anglaise **

C'est très facile dans des langues comme l'anglais où les mots sont séparés par des espaces. La procédure d'analyse morphologique en anglais est résumée ci-dessous.

1.Diminuez toute la phrase pour éviter que les mots ne soient distingués par la position du mot

2.it's et don'Séparer les abréviations telles que t (il's → it 's 、 don't → do n't）

3.Séparez le point à la fin de la phrase du mot précédent (M..Ne séparez pas les périodes qui ne sont pas liées à la fin des phrases utilisées

4.Diviser par l'espace

** Analyse morphologique japonaise **

Contrairement à l'anglais, le japonais a peu de blancs et vous ne pouvez pas voir les coupures dans les mots. Par conséquent, il est nécessaire de considérer la division par règles sur la base d'un dictionnaire en utilisant un «dictionnaire» dédié.

Si vous effectuez votre propre analyse morphologique, vous devez définir et appliquer vous-même cette règle de division.

Plusieurs «bibliothèques» ont été développées pour l'analyse morphologique japonaise. Il est courant de l'utiliser pour l'analyse morphologique.

Une bibliothèque typique est appelée «MeCab».

https://ja.wikipedia.org/wiki/MeCab

Il existe également une bibliothèque appelée janome dans le langage Python.

https://mocobeta.github.io/janome/

Si elle est mise en œuvre à l'aide d'une telle bibliothèque, l'analyse morphologique peut être effectuée relativement facilement.

Le mécanisme de la bibliothèque ici est expliqué dans cet article. Découvrez les coulisses de l'analyse morphologique japonaise! Comment MeCab analyse morphologiquement

L'idée de base est de construire un "treillis" et de sélectionner le meilleur "chemin".

Un «treillis» est une «solution possible de rupture de mot».

Je pense que ce qui suit est un exemple facile à comprendre, alors je vais y faire référence.

Référence: https://techlife.cookpad.com/entry/2016/05/11/170000

Il s'agit de «Lattice», et nous sélectionnerons le «chemin optimal» en fonction du «coût».

Le "coût" dépend du "dictionnaire" utilisé pour l'analyse morphologique.

Dans l'analyse morphologique générale, le «dictionnaire NAIST» est utilisé. Les valeurs calculées du «coût d'occurrence» et du «coût de concaténation» sont répertoriées dans ce document. Il semble que la valeur «coût» du «corpus» soit calculée à partir de celui-ci.

Il semble que ce «chemin» au «coût» le plus bas soit le résultat d'une analyse morphologique.

Bien sûr, si elle n'existe pas dans ce dictionnaire, la nomenclature appropriée sera divisée en mots ordinaires. La maintenance du «dictionnaire» est indispensable pour une analyse morphologique correcte.

Les mots nouvellement créés sont parfois appelés «mots inconnus», mais dans le travail d'analyse morphologique, La correspondance avec ces "mots inconnus" et la maintenance des "dictionnaires" occuperont la majeure partie du travail de développement.

Si vous êtes une entreprise qui gère le traitement du langage naturel, vous avez enregistré vous-même un grand nombre de mots Nous construisons une base de données pour gérer les «mots inconnus».

À propos de l'analyse syntaxique

«L'analyse de syntaxe» est également appelée «analyse de dépendance» et est une sorte de technologie de traitement du langage naturel. Après avoir divisé la phrase en éléments morphologiques, la relation de modification entre les mots sera analysée.

Il existe une célèbre bibliothèque appelée «CaboCha».

https://taku910.github.io/cabocha/

Il ne convient pas à l'analyse de phrases trop longues et il est nécessaire de penser en phrases courtes.

Le résultat de l'analyse ressemble à ceci.

Ichiro a bourré les trous faits par Jiro avec des pommes de terre achetées à Hokkaido.

Ichiro-------------D
Jiro-D         |
Avait fait-D       |
Dans le trou-------D
À Hokkaido-D   |
Acheté-D |
Patate-D
Farci

L'analyse de dépendance est une technique qui peut être utilisée lorsque vous souhaitez analyser le sens d'une phrase. Je pense qu'il peut être utilisé pour analyser la structure grammaticale et clarifier le sens des phrases.

Mots qui apparaissent souvent dans le traitement du langage naturel

Expressions régulières

Il s'agit d'une méthode d'expression permettant d'exprimer plusieurs chaînes de caractères dans un seul format. Il est souvent utilisé lors du traitement d'un grand nombre de phrases selon certaines règles.

Cliquez ici pour plus de détails Vous deviendrez ingénieur dans 100 jours - Jour 46 - Programmation - À propos des expressions régulières

N-Gram

Une méthode de division de texte qui divise une chaîne de caractères arbitraires ou un document en caractères «n» consécutifs. Lorsque «n» est 1, «uni-gramme» est lorsque «2 est« bi-gramme » Le cas 3 est appelé «tri-gramme».

Basé sur les personnages

# unigram
'maintenant', 'journée', 'Est', 'je', 'je', 'paradis', 'Qi'

# bigram
'aujourd'hui', 'journée', 'Oui', 'Bien', 'paradis', 'Météo'

# trigram
'aujourd'hui', 'Oui oui', 'Est bon', 'Bon ciel', 'Beau temps'

S'il est basé sur des mots, ce sera une concaténation de «n» mots analysés morphologiquement.

# unigram
'aujourd'hui', 'Est', 'Bien', 'Météo'

# bigram
'aujourd'hui', 'Est bon', 'Beau temps'

# trigram
'Bon aujourd'hui', 'Beau temps'

** vecteur de mot **

Après avoir divisé une phrase en mots, les mots sont affectés aux colonnes du tableau et convertis en données. S'il y a un mot, les données seront 1, sinon elles seront 0.

[1,0,0,0,0,0,1,1,1],
[1,0,0,0,0,0,1,1,0], ...

TF-IDF

«tf-idf» est un type de poids pour les mots d'un document et est utilisé dans des domaines tels que la recherche d'informations et la synthèse de phrases. Les calculs sont basés sur le «vecteur de mots» et sont utilisés pour déterminer la rareté des mots.

Résumé

Le traitement du langage naturel est l'un des domaines de recherche les plus difficiles, mais les domaines où la recherche n'a pas progressé Au contraire, c'est aussi un domaine avec de nombreuses opportunités.

Étudier le japonais est particulièrement difficile, et où mettre en œuvre la partie qui analyse le sens C'est très difficile, vous devez donc vous asseoir et travailler sur vos recherches.

Si vous êtes intéressé, apprenons le traitement du langage naturel.

34 jours avant de devenir ingénieur

Informations sur l'auteur

HP d'Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython