Aidemy 2020/11/10
Bonjour, c'est Yope! Je suis une école littéraire croustillante, mais j'étais intéressé par les possibilités de l'IA, alors je suis allé à l'école spécialisée en IA "Aidemy" pour étudier. Je voudrais partager les connaissances acquises ici avec vous, et je les ai résumées dans Qiita. Je suis très heureux que de nombreuses personnes aient lu l'article de synthèse précédent. Merci! Ceci est le deuxième message de RNN_LSTM. Ravi de vous rencontrer.
Quoi apprendre cette fois ・ Analyse morphologique, etc. ・ Traitement du langage naturel par apprentissage en profondeur
-Dans le traitement du langage naturel, il est nécessaire de séparer les phrases pour chaque __word __. Il y a __ «analyse morphologique» __ et __ «modèle N-gramme» __ dans la méthode, et des analyseurs morphologiques tels que MeCab sont principalement utilisés. Ceci sera décrit plus tard. -Le modèle __N-gramme __ est une méthode __ qui divise les mots par __N ensuite, ou divise les phrases par N mots et agrège la fréquence d'occurrence. Ceci n'est pas limité au japonais __ Peut être utilisé dans n'importe quelle langue __.
-La première chose qui est faite dans le traitement du langage naturel japonais est __ "l'analyse morphologique" __. Cette fois, nous effectuerons une analyse morphologique à l'aide de MeCab. -Pour l'utiliser, créez d'abord une instance avec __ "MeCab.Tagger ('')" __, puis utilisez __ "parse ()" __ pour effectuer une analyse morphologique.
-__ L'analyse de la syntaxe__ est effectuée après avoir effectué une analyse morphologique. L'analyse syntaxique est une méthode __ qui décompose chaque phrase en __ clauses et détermine la __dépendance entre les clauses. -Un programme qui effectue une analyse de syntaxe est appelé un analyseur de syntaxe, et il y a __ "CaboCha" __ et __ "KNP" __.
-__ Le prétraitement des données __ est une étape très importante __ dans le traitement du langage naturel. Le flux principal est le suivant. (Voir «Traitement du langage naturel» pour plus de détails) ① __ Processus de nettoyage __: supprime les balises HTML et autres éléments qui ne sont pas liés au texte. ② __ Analyse morphologique __ ③ __ Normalisation des mots __: Unification des fluctuations de notation, etc. ④ __ Suppression de mot d'arrêt __: Suppression de mots (auxiliaires, etc.) qui ont peu de sens malgré leur fréquence d'apparition ⑤ __Vectorisation __: les mots sont vectorisés (quantifiés)
-Si vous souhaitez utiliser MeCab uniquement pour __ l'écriture séparée __, vous pouvez utiliser __ "MeCab.Tagger ('-Owakati')" __. Faites ceci avec __ "parse (text)" __ et distinguez chaque mot séparé par des espaces par __ "split ('')" __. -Créer une liste des mêmes mots dans l'ordre du dictionnaire avec __ "sorted (set (word_list))" __. -Pour cette liste (vocab), un dictionnaire de __ "{word: id}" __ est créé avec __ "{c: i pour i, c dans enumerate (vocab)}" . -Appliquer ceci à chaque word_list pour lister ids. ( [vocab_to_int [x] for x in word_list] __)
・ Code
・ Résultat
Embedding -Pour __ pour vectoriser __words, utilisez __Embedding layer __. La mise en œuvre se fait dans le modèle __Sequential __. -Si la liste d'identifiants "int_list" créée à la fin de la section précédente est transformée en un formulaire (input_data) qui peut être appliqué au model et passé dans model.predict, une liste vectorisée sera retournée.
・ Code
-Les données traitées cette fois-ci sont des données en langage naturel, mais l'implémentation elle-même n'est pas très différente de ce qui a été fait jusqu'à présent, donc je ne posterai que le code ici.
・ Code
-Lors de l'exécution du traitement du langage naturel en apprentissage profond, il est important de prétraiter __ données __. Plus précisément, __ "les mots sont vectorisés (quantifiés)" __, donc d'abord, la phrase est divisée en mots par __ analyse morphologique __, et __ les parties inutiles sont supprimées __. Vous devez le faire. -Utilisez Embedding lors de la vectorisation des mots. L'implémentation utilise le modèle séquentiel. -La mise en œuvre du modèle qui effectue le traitement du langage naturel peut se faire de la même manière que les autres modèles __.
Cette fois, c'est fini. Merci d'avoir lu jusqu'à la fin.
Recommended Posts