Einführung

Dieses Mal haben wir eine Stimmungsanalyse (oder Stimmungsklassifizierung) von markierten Tweet-Daten durchgeführt. ** 19.10.2015 Ein zusätzliches Experiment wurde durchgeführt. ** ** ** ** 19.12.2015 Der Quellcode von SCNN wurde veröffentlicht. hogefugabar / CharSCNN-theano ** ** 27.12.2015 Nicht nur die SCNN-, sondern auch die CharSCNN-Implementierung wurde veröffentlicht. hogefugabar / CharSCNN-theano **

Algorithmus

Dieses Mal habe ich versucht, den Algorithmus namens CharSCNN zu verwenden, der in der Veröffentlichung Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts beschrieben ist. Der Einfachheit halber habe ich einen Algorithmus namens SCNN verwendet. Dieser Algorithmus gibt den Satz (Satz) als Eingabe als eine Reihe von One-Hot-Ausdrücken von Wörtern an. CharSCNN gibt Buchstaben zusätzlich zu Wörtern einen heißen Ausdruck. Wenn mein Verständnis korrekt ist, hat SCNN eine Architektur ähnlich der folgenden.

Aus [UNITN: Training Deep Convolutional Neural Network für die Klassifizierung von Twitter-Stimmungen](http://alt.qcri.org/semeval2015/cdrom/pdf/SemEval079.pdf)

Implementierung

Es gab satwantrana / CharSCNN auf GitHub, also habe ich versucht, es so zu verwenden, wie es ist, aber ich habe es selbst behoben, weil verschiedene Codes seltsam waren. ** 19.12.2015 Der Quellcode wurde veröffentlicht. hogefugabar / CharSCNN-theano Bitte beziehen Sie sich hier. ** ** **

Ich habe es wie folgt implementiert: To Word Embeddings → Faltung → Max Pooling → Vollständig verbunden → Vollständig verbunden → Softmax. Ich benutze auch Dropout, RMSprop usw.

Datensatz

Ich habe 20.000 Tweets von tweets_clean.txt in satwantrana / CharSCNN verwendet. Trainingsdaten 18000 Tweets, Testdaten 2000 Tweets. Jeder Tweet ist mit 0/1 (negativ / positiv) gekennzeichnet und wird daher in zwei Klassen eingeteilt.

Versuchsergebnis

Grafik 10 Seed-Durchschnitt wird genommen, aber gleitender Durchschnitt wird genommen. Es fühlte sich so an, als ob das Überlernen um 2 Epochen (180000 * 2 Iterationen) begann. Die maximale Klassifizierungsgenauigkeit beträgt ca. 0,8. Das Originalpapier sagte, dass es von 0,82 auf 0,85 ging, also denke ich, dass der Unterschied im Datensatz und der Unterschied in den Parametern einen Effekt haben.

Am Ende

Konvertieren der allerersten Eingabe in Word-Einbettungen Es scheint, dass das Ergebnis besser ist, wenn Sie das mit Word2Vec vorab trainierte Gewicht verwenden. Daher möchte ich dies auch versuchen.

Zusätzliches Experiment (aktualisiert am 19. Oktober 2015)

Da Word2Vec im Chainer-Beispiel enthalten war, habe ich das Ergebnis des Vorlernens mit Skip-Gramm mit Negativ-Sampling verwendet. Vorlernen mit Chainer und Drehen des Theano-Programms lol. Vielen Dank, dass Sie cPickle.

Nun, es war besser, das Start-up vorab zu lernen, aber es ist besser, das Endergebnis nicht vorab zu lernen. .. .. Was ist, wenn ich es etwas länger drehe?

[PYTHON] Emotionale Analyse von Tweets mit Deep Learning