[PYTHON] Modell unter Verwendung eines Faltungsnetzwerks in der Verarbeitung natürlicher Sprache
Einführung
In letzter Zeit hat die Verarbeitung natürlicher Sprache unter Verwendung des Convolutional Neural Network (CNN) Aufmerksamkeit erregt. Im Vergleich zu RNN ist CNN einfacher zu parallelisieren, und mithilfe der GPU kann die Faltungsberechnung mit hoher Geschwindigkeit durchgeführt werden, sodass der Vorteil einer überwältigend hohen Verarbeitungsgeschwindigkeit besteht.
Dieser Artikel ist eine Zusammenstellung von Modellen, die Faltungs-Neuronale Netze in der Verarbeitung natürlicher Sprache verwenden. Wir hoffen, dies wird Ihnen helfen, den Fortschritt der Forschung zur Verarbeitung natürlicher Sprache mit CNN aus der Vogelperspektive zu betrachten.
Satzklassifizierung (Reputationsanalyse, Themenklassifizierung, Fragetypklassifizierung)
Convolutional Neural Networks for Sentence Classification(2014/08)
Ein Artikel, der ein CNN vorschlägt, das eine Satzklassifizierung wie Reputationsanalyse und Fragetypklassifizierung durchführt.
Insbesondere werden Sätze als eine Folge von Wortvektoren dargestellt, und Merkmale werden unter Verwendung von CNN extrahiert und klassifiziert. In dem Artikel wird berichtet, dass die Leistung durch Verwendung des vorgelernten Wortvektors verbessert wurde (Google News mit word2vec gelernt). Es ist interessant, dass jeder der beiden Kanäle einen Wortvektor darstellt, einer wird während des Lernens aktualisiert und der andere wird nicht aktualisiert, um die Leistung zu verbessern. Bei der Bewertung von sieben Dokumentenklassifizierungsaufgaben, einschließlich Reputationsanalyse und Fragetypklassifizierung, ergaben vier von sieben Aufgaben die besten Ergebnisse aller Zeiten.
Die Implementierung von Theano durch den Autor und die Implementierung von TensorFlow durch Denny Britz von Google Brain: https://github.com/yoonkim/CNN_sentence https://github.com/dennybritz/cnn-text-classification-tf
Eine kurze Erklärung und Implementierung auf Japanisch von ichiroex [Chainer] Klassifizierung von Dokumenten nach Faltungsnetzwerken
Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts(2014/08)
Ein Artikel mit dem Vorschlag von CNN (CharSCNN), der den Ruf von Filmkritiken und Twitter analysiert.
Die Reputationsanalyse für Kurztexte wie Twitter hat das Problem, dass es schwierig ist, weil die Kontextinformationen begrenzt sind. Um dieses Problem zu lösen, haben wir die Leistung verbessert, indem wir zusätzlich zu den normalerweise in der Reputationsanalyse verwendeten Vektordarstellungen auf Wortebene Vektordarstellungen auf Zeichenebene erstellt und diese zum Erhalten von Satzvektordarstellungen verwendet haben. Ich habe das gemacht. Experimente mit Datensätzen für Filmkritiken (SSTb) und Twitter (STS) haben zu besseren Ergebnissen geführt als frühere Methoden.
Die Implementierung von hogefugabar: https://github.com/hogefugabar/CharSCNN-theano
Ich habe auch einen Kommentar geschrieben: Emotionale Analyse von Tweets durch tiefes Lernen
#TAGSPACE: Semantic Embeddings from Hashtags(2014/10)
Ein Artikel, der ein CNN vorschlägt, das kurze Textausdrücke mithilfe von Hash-Tags lernt, die in SNS als Lehrer verwendet werden.
Insbesondere wird unter Verwendung von CNN die Bewertung für das Paar von Hash-Tags ausgegeben, die dem eingegebenen Text entsprechen, und der Ausdruck des Textes wird beim Ranking der Hash-Tags gelernt. Als Ergebnis der Bewertung durch Hash-Tag-Vorhersage und Dokumentempfehlungsaufgabe war das Ergebnis besser als die Basismethode.
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks(2014/12)
Ein Artikel, der ein CNN für die Textklassifizierung unter Berücksichtigung der Wortreihenfolge vorschlägt.
Es gibt verschiedene Aufgaben bei der Klassifizierung von Dokumenten, aber bei Aufgaben wie der Reputationsanalyse kann keine hohe Leistung erzielt werden, wenn nicht die Wortreihenfolge berücksichtigt wird. Um dieses Problem zu lösen, schlagen wir ein CNN vor, das Dokumente unter Berücksichtigung der Wortreihenfolge klassifizieren kann. Insbesondere geben die meisten CNN-Methoden das Einbetten von Wörtern als Eingabe ein, aber in dieser Studie werden hochdimensionale One-Hot-Vektoren eingegeben, um das Einbetten in einen kleinen Textbereich zu lernen. Als Ergebnis des Vergleichs der drei Datensätze im Zusammenhang mit der Reputationsanalyse (einschließlich IMDB) und der Themenklassifizierung mit der SOTA-Methode wurde die Wirksamkeit der vorgeschlagenen Methode gezeigt.
Implementiert vom Autor des Papiers: http://riejohnson.com/cnn_download.html
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding(2015/04)
Eine Geschichte, die einen halbüberwachten Lernrahmen vorschlug, der CNN für die Textklassifizierung verwendet. In dem herkömmlichen Modell wurde die vorgelernte Worteinbettung für die Eingabe der Faltungsschicht verwendet, aber in dieser Untersuchung wird die Einbettung aus einem kleinen Textbereich ohne Lehrer gelernt und als Teil der Eingabe der Faltungsschicht in das überwachte CNN verwendet. Experimente mit Reputationsanalyse (IMDB, Elec) und Themenklassifizierung (RCV1) zeigten eine höhere Leistung als frühere Studien.
Implementiert vom Autor des Papiers: http://riejohnson.com/cnn_download.html
Character-level Convolutional Networks for Text Classification(2015/09)
Eine Geschichte über die Verwendung eines Faltungsnetzwerks auf Zeichenebene für die Textklassifizierung. Wir erhöhen die Daten, indem wir Wörter im Text durch Synonyme mit einer Cissolus ersetzen. Der Vergleich wird mit Bogen, Bag-of-Ngram, Bag-of-Means als traditionelle Methode und wortbasiertem CNN und LSTM als Deep-Learning-Methode durchgeführt. Acht Datensätze wurden erstellt und mit der Basismethode verglichen, und einige Datensätze zeigten Wirksamkeit.
Lua Implementierung durch den Autor: https://github.com/zhangxiangxiao/Crepe
Das CNN-Modell liefert gute Ergebnisse bei der Satzklassifizierung, erfordert jedoch einen Experten, um die Architektur zu bestimmen und Hyperparameter festzulegen. Ich bin mir nicht sicher, welche Konsequenzen diese Änderungen haben werden, daher habe ich sie mit weiteren CNNs überprüft. Schließlich gibt er praktische Ratschläge zum Festlegen der Modellarchitektur und der Hyperparameter bei der Klassifizierung von Sätzen mit CNN.
Serienkennzeichnung (Partizipationskennzeichnung, Erkennung eindeutiger Ausdrücke, Chunking)
Natural Language Processing (almost) from Scratch(2011/03)
Eine Geschichte, die ein neuronales Netzwerk vorschlug, das das Markieren von Teilwörtern, das Chunking, das Extrahieren eindeutiger Ausdrücke und die Zuweisung semantischer Rollen lernen kann. Obwohl die Leistung durch einfaches Training niedriger als der Benchmark war, wurde gezeigt, dass ein guter Wortvektor zur Leistungsverbesserung beiträgt, indem das Sprachmodell im Voraus unter Verwendung unbeschrifteter Daten trainiert wird. Darüber hinaus wurde gezeigt, dass die Leistung weiter verbessert werden kann, indem Parameter zwischen Modellen zum Lösen jeder Aufgabe und zum Durchführen von Multitasking-Lernen ausgetauscht werden.
Zusammenfassungsfolie auf Japanisch: Verarbeitung natürlicher Sprache (fast) von Grund auf neu (6. Deep Learning Study Group Material; Sakaki)
Learning Character-level Representations for Part-of-Speech Tagging(2014/07)
Eine Geschichte über das Markieren von Teilwörtern mit CNN (CharWNN). Insbesondere haben wir eine Vektordarstellung von Wörtern durch Integrieren von Einbettungen auf Wortebene und Zeichenebene erstellt und eine CNN erstellt, die die Teilbewertung durch Eingabe des konstruierten Vektors ausgibt. Experimente mit Datensätzen für Englisch und Portugiesisch (WSJ und Mac-Morpho) führten zu SOTA-Ergebnissen.
Sprachmodell
Language Modeling with Gated Convolutional Networks(2016/12)
Es wird gesagt, dass CNN bei der Aufgabe des Sprachmodells eine Genauigkeit erreicht hat, die gleich oder höher als LSTM ist. Das gefaltete Ergebnis wird von einem GRU-ähnlichen Mechanismus verarbeitet, damit frühere Informationen nicht verloren gehen. Das Google Billion Word-Dataset hat die gleiche Genauigkeit wie LSTM, die Berechnungseffizienz wurde jedoch um das 20-fache verbessert.
Implementiert von TensorFlow: Language-Modeling-GatedCNN
abschließend
Der folgende Twitter-Account bietet eine Zusammenfassung der neuesten Papierinformationen zu maschinellem Lernen, Verarbeitung natürlicher Sprache und Computer Vision. Wir warten darauf, dass Sie uns folgen, da wir interessante Inhalte für diejenigen liefern, die diesen Artikel lesen.
arXivTimes
Referenz
Recommended Posts