[PYTHON] Ich habe einen Downloader für wortverteilte Ausdrücke erstellt

Verteilte Wortausdrücke werden üblicherweise in der modernen Verarbeitung natürlicher Sprache verwendet. In letzter Zeit wurden viele trainierte Modelle veröffentlicht, und es ist weniger notwendig, Zeit und Geld aufzuwenden, um selbst zu lernen. Obwohl es für die Öffentlichkeit zugänglich ist, dauert es viel Zeit, es zu finden und herunterzuladen.

Um dieses Problem zu beheben, habe ich einen Downloader für Wortverteilungsausdrücke erstellt. Der Name ist ** chakin **. chakki-works/chakin (Ich fühle mich motiviert, wenn Sie mir einen Stern geben m (__) m)

Das Merkmal von Chakin ist, dass es in Python geschrieben ist, mit pip installiert werden kann, von der Suche bis zum Download aus einer Hand ausgeführt werden kann und 23 Vektoren unterstützt (Stand: 29. Mai 2017). .. Wir planen, die Anzahl der unterstützten Vektoren in Zukunft zu erhöhen.

Mal sehen, wie man es benutzt.

Wie man Chakin benutzt

Die Installation ist einfach. Verwenden Sie pip, um den folgenden Befehl auszuführen:

$ pip install chakin

Sie können es nach der Installation verwenden. Sie müssen drei Codezeilen schreiben, um den Datensatz herunterzuladen. Versuchen wir diesmal, einen japanischen Datensatz für verteilte Darstellungen herunterzuladen. Starten Sie zunächst Python:

$ python

Importieren Sie nach dem Start von Python das installierte Chakin. Nach dem Import können Sie nach vorab trainierten Modellen suchen, indem Sie die Sprache (in diesem Fall Japanisch) in der Suchmethode angeben:

>>> import chakin
>>> chakin.search(lang='Japanese')
                         Name  Dimension     Corpus VocabularySize               Method  Language
6                fastText(ja)        300  Wikipedia           580K             fastText  Japanese
22  word2vec.Wiki-NEologd.50d         50  Wikipedia           335K   word2vec + NEologd  Japanese

Derzeit kann nur die Zielsprache gesucht werden. Dieser Bereich ist einer der Orte, an denen wir die Benutzerfreundlichkeit in Zukunft verbessern möchten.

Wenn Sie den Datensatz gefunden haben, den Sie herunterladen möchten, geben Sie dessen Index in der Download-Methode an, um ihn herunterzuladen. Dieses Mal habe ich ** 22 ** angegeben, was der Index von "word2vec.Wiki-NEologd.50d" ist:

>>> chakin.download(number=22, save_dir='./')
Test: 100% ||               | Time: 0:00:02  60.7 MiB/s
'./latest-ja-word2vec-gensim-model.zip'

Das ist alles für die Verwendung.

Unterstützte Vektoren

Derzeit werden die folgenden Vektoren unterstützt. Wir werden auch in Zukunft entsprechende Vektoren hinzufügen. Bitte verwenden Sie diese.

abschließend

Verteilte Darstellungen von vorgelernten Wörtern sind in der Verarbeitung natürlicher Sprache häufig und wichtig. Es ist jedoch überraschend mühsam, sie selbst zu finden. In diesem Artikel habe ich einen Downloader vorgestellt, den ich erstellt habe, um die Probleme zu beheben. Wir hoffen, Sie finden diesen Artikel hilfreich.

Ich twittere auch Informationen über maschinelles Lernen und die Verarbeitung natürlicher Sprachen in meinem Twitter-Konto. @Hironsan

Wir freuen uns auf Ihr Follow-up, wenn Sie an diesem Bereich interessiert sind.