[PYTHON] Obtenez une représentation distribuée des mots en Fast avec fastText sur Facebook
"France" - "Paris" + "Tokyo" = "Japon"
C'est Word2Vec annoncé par Google qu'il est devenu un sujet brûlant que de tels mots puissent être calculés. En termes simples, il s'agit d'une technologie qui exprime les mots numériquement, ce qui permet de mesurer la «proximité» des mots et d'effectuer les opérations ci-dessus. Cette expression numérique de mots est appelée une expression distribuée. Le fastText annoncé par Facebook introduit cette fois est une extension de ce Word2Vec, et vous pouvez apprendre des expressions plus précises à grande vitesse. Dans cet article, nous expliquerons le mécanisme et comment l'appliquer aux documents japonais.
Fonctionnement de FastText
Dans fastText, c'est un modèle qui peut résumer une «forme d'utilisation» qui n'était pas envisagée jusque-là dans Word2Vec et son modèle de type. Plus précisément, aller, aller et aller sont tous «aller», mais ils sont tous différents littéralement, ils sont donc traités comme des mots séparés dans les méthodes conventionnelles. Par conséquent, nous proposons une méthode pour rendre les mots proches les uns des autres plus cohérents dans leur sens en considérant les mots qui ont été décomposés en composantes (dans l'image, "go" et "es" pour go). Modèle de sous-mot).
- Puisque les mots et les composants sont distingués, par exemple, "comme" comme mot utilisé dans comme vous et "comme" comme composant d'un mot passé sont distingués.
Quant aux composants des mots, ceux de 3 caractères ou plus et de moins de 6 caractères sont utilisés dans l'article, et ceux de moins de 3 caractères sont traités comme préfixe / suffixe. Plus vous utilisez de composants de mots, plus vous pouvez faire de variations en combinaison, ce qui améliore votre expressivité, mais le calcul prendra plus de temps. C'est un compromis, mais je le limite à 2 millions dans mon article. Si vous souhaitez en savoir plus, veuillez consulter le document
En outre, fastText implémente également une fonction de classification de document qui utilise une représentation distribuée basée sur cette méthode (l'article est ci-dessous).
Ce qui précède est le mécanisme de fastText. À partir de là, je vais vous présenter la procédure pour utiliser réellement fastText.
Comment utiliser fastText
L'utilisation de fastText lui-même est très simple.
./fasttext skipgram -input data.txt -output model
Comme vous pouvez le voir sur la page officielle, il est aussi simple que possible de créer un modèle en passant les données du document data.txt. Cependant, contrairement à l'anglais, les mots ne sont pas séparés par des espaces en japonais, il est donc nécessaire de supprimer le mot «écriture séparée». La procédure pour cela est expliquée ci-dessous.
Le référentiel suivant est préparé pour ce travail. Si vous le clonez et procédez selon la procédure, ce sera OK, donc j'espère que vous en ferez usage.
icoxfog417/fastTextJapaneseTutorial
(Ce sera encourageant de recevoir Star m (_ _) m)
Préparation préalable
Cette fois, nous utiliserons Python pour le traitement, nous avons donc besoin d'un environnement Python. De plus, comme MeCab est utilisé pour écrire le japonais séparément, MeCab doit être installé. Sous Windows, il existe de nombreuses difficultés autour de MeCab, donc dans le cas de Windows 10, il est plus facile de travailler dans l'environnement Ubuntu en utilisant bash sous Windows.
1. Préparez un document à utiliser pour l'apprentissage
Tout d'abord, préparez un document à utiliser pour l'apprentissage (dans la communauté du langage naturel, cela s'appelle un corpus). Le plus connu est Wikipedia. Cette fois, j'ai utilisé les données de vidage de Wikipedia japonais.
[Wikipédia: Téléchargement de la base de données](https://ja.wikipedia.org/wiki/Wikipedia:%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83% BC% E3% 82% B9% E3% 83% 80% E3% 82% A6% E3% 83% B3% E3% 83% AD% E3% 83% BC% E3% 83% 89)
Accédez à l'emplacement de stockage de vidage à partir de "Wikipédia version japonaise de vidage" sur la page ci-dessus et obtenez les dernières données de date. Il existe de nombreux types, mais seuls l'aperçu (jawiki-xxxxxxxx-abstract.xml) et l'article complet (jawiki-xxxxxxxx-pages-articles.xml.bz2) sont utiles.
Bien entendu, d'autres documents tels que des articles de journaux et des articles de blog sont également acceptés. Il est préférable de préparer un corpus adapté aux fins de l'expression distribuée. Comme Wikipedia n'est qu'un dictionnaire, par exemple, même si vous regardez l'élément "Disneyland", son histoire, etc. est écrite en détail et les mots-clés tels que "fun" et les noms des attractions n'apparaissent jamais. Étant donné que la nature des expressions distribuées est déterminée par les mots qui apparaissent autour d'elles, vaut-il mieux inclure des éléments tels que amusants et célèbres en disant «Disneyland», ou vaut-il mieux inclure des éléments tels que Los Angeles et les années 1950? Le corpus à utiliser pour l'apprentissage dépend du type.
2. Extraire le texte
Lorsque vous utilisez Wikipédia, les données de vidage sont du XML, il est donc nécessaire d'en extraire des données textuelles pures. Il existe divers outils qui peuvent le faire, mais cette fois, j'ai utilisé Wikipedia Extractor fabriqué par Python.
Il peut être exécuté comme suit. L'option -b sépare les fichiers tous les 500M.
python wikiextractor/WikiExtractor.py -b 500M -o (Dossier de sortie) jawiki-xxxxxxxx-pages-articles-multistream.xml.bz2
De plus, Wikipedia Extractor suppose un fichier dont le format de fichier est «bz2» et ne prend pas en charge les fichiers abstraits. Si vous voulez l'essayer avec un fichier abstrait, veuillez utiliser parser.py dans le référentiel car il peut être traité.
Enfin, les données texte extraites sont combinées dans un seul fichier texte. Ceci termine l'extraction de texte.
3. Divisez le texte en mots (séparés)
Eh bien, le sujet principal est d'ici. Contrairement à l'anglais, les mots ne sont pas séparés par des espaces en japonais, il est donc nécessaire de découper chaque mot en le traitant comme une division. MeCab est utilisé pour ce travail. Cette fois, nous n'avons pas besoin des informations morphologiques car nous les écrivons simplement séparément, nous allons donc les traiter avec la commande suivante.
mecab (Fichier texte cible) -O wakati -o (Fichier de destination de sortie)
Vous avez maintenant un fichier avec des mots séparés par des espaces.
De plus, MeCab dispose d'un dictionnaire de mots à partager. Plus vous aurez de vocabulaire dans ce dictionnaire, plus vos divisions seront précises et vous pourrez utiliser mecab-neologd pour reconnaître des mots plus modernes. Vous pouvez l'écrire séparément, veuillez donc l'utiliser au besoin.
- Dans les mots anglais, aller et aller sont le même mot, mais en japonais, "go" et "go" sont des verbes pour "go", et "go" est "go (verbe)" + "ta (auxiliaire)". , Et les mots seront séparés. Compte tenu de la nature de fastText, il peut être préférable de combiner de tels cas où le verbe + le verbe auxiliaire sont séparés, mais cette fois, il est divisé normalement car le traitement devient compliqué.
4. Apprenez avec fastText
Maintenant que vous avez un fichier séparé par mot, tout comme en anglais, il ne vous reste plus qu'à exécuter fastText. Clonez le référentiel fastText et compilez-le avec make comme décrit dans la documentation.
- Construire sur Windows semble être assez difficile, vous devez donc utiliser bash sur Windows comme préparé à l'avance, ou sinon, utiliser mingw etc. pour faire de votre mieux.
Il existe différents paramètres de réglage, mais en se référant au papier, la taille de l'expression numérique (dimension vectorielle) du mot est la suivante en fonction de l'ensemble de données à traiter (* Il n'y avait aucune mention de ce qu'est le jeton d'unité. Mais c'est probablement un nombre de mots).
- small(50M tokens): 100
- mediam(200M tokens) :200
- full:300
Le fait est qu'un petit jeu de données a une petite dimension. Dans le cas de tous les cas de Wikipédia, cela correspond à 300 dimensions complètes, alors procédez comme suit.
./fasttext skipgram -input (Fichiers séparés) -output model -dim 300
Si vous souhaitez utiliser les mêmes paramètres que l'apprentissage de Word2Vec, ce sera comme suit (pour le paramétrage, etc., voir ici. ).
./fasttext skipgram -input (Fichiers séparés) -output model -dim 200 -neg 25 -ws 8
(Bien qu'il soit également publié sur la question, il semble que cela change considérablement en fonction du paramètre](https://github.com/facebookresearch/fastText/issues/5). Epoch, mincount, etc.)
Lorsque la formation est terminée, deux types de fichiers, .bin et .vec, seront créés pour le nom de fichier spécifié par -output. Ce seront les fichiers qui contiennent les représentations distribuées apprises.
En particulier, .vec est un simple fichier texte dans lequel les mots et les expressions distribuées sont appariés, donc je pense qu'il peut être lu et utilisé dans des langues autres que Python.
Cependant, dans le cas de tous les cas Wikipeida, la taille des données est trop grande et lorsque vous essayez de lire le fichier model, il saute parfois avec une erreur de mémoire, et il y a des cas où des problèmes d'encodage se produisent (ou plutôt, cela s'est produit). Mais). Dans ce cas, créez un dictionnaire de mots une seule fois (créez un dictionnaire qui convertit les mots en identifiants tels que "matin" -> 11) et convertissez le fichier texte en une colonne d'identifiants de mots.
5. Utilisez fastText
Maintenant, utilisons en fait fastText. Il existe une interface Python, mais comme mentionné ci-dessus, la structure du fichier est simple, il n'est donc pas nécessaire de l'utiliser. Nous avons eval.py dans le référentiel, vous pouvez donc l'utiliser pour rechercher des mots similaires.
python eval.py EXILE
Le résultat est ···
EXILE, 0.9999999999999999
Exilé, 0.8503456049215405
ATSUSHI, 0.8344220054003253
Eh bien, les similitudes sont nettes (les nombres indiquent la similitude cosinus; plus il est proche de 1, plus il est similaire, et plus il est proche de 0, moins il est similaire). À l'inverse, regardons des mots qui ne sont pas similaires.
python eval.py EXILE --negative
Le résultat est ····
la souveraineté, 0.011989817895453175
Génial, 0.03867233333573319
Hospital, 0.10808885165592982
Pression, 0.11396957694584102
Tableau d'affichage électronique, 0.12102514551120924
Faction chiite, 0.13388425615685776
Philippin, 0.134102069272474
Relier, 0.13871080016061785
Cannes, 0.1560228702600865
Iseki, 0.16740051927385632
SaaS, 0.1938341440200136
Kaisei Junior et Senior High School, 0.19798593808666984
Peinture de musée, 0.23079469060502433
papillon, 0.23615273153248512
P5, 0.2795962625371914
AH, 0.2919494095090802
EXILE et Shia ne sont pas tout à fait similaires. Il est très raisonnable de le penser de cette façon (???).
Avec ce genre de sensation, vous pouvez facilement l'utiliser. Veuillez essayer.