[PYTHON] Ein Amateur stolperte über Deep Learning ❷ von Grund auf neu Hinweis: Kapitel 4

Einführung

Ich fing plötzlich an zu studieren "Deep Learning von Grund auf neu - Verarbeitung natürlicher Sprache". Beachten Sie, dass ich in Kapitel 4 gestolpert bin ist.

Die Ausführungsumgebung ist macOS Catalina + Anaconda 2019.10 und die Python-Version ist 3.7.4. Weitere Informationen finden Sie in Kapitel 1 dieses Memos.

Kapitel 4 Word2vec beschleunigen

Dieses Kapitel ist eine Beschleunigung des in Kapitel 3 erstellten CBOW-Modells word2vec.

4.1 Verbesserung von word2vec ①

Erstens ist die Beschleunigung von der Eingabeebene zur Zwischenebene. Dieser Teil spielt die Rolle der Einbettung, um Wörter in verteilte Ausdrücke umzuwandeln. Da die MatMul-Ebene jedoch verschwenderisch ist, ersetzen Sie sie durch die Einbettungsebene.

Die Einbettungsebene ist einfach, aber der Teil, der $ dW $ hinzufügt, wenn idx in der Backpropagation-Implementierung dupliziert wird, kann etwas verwirrend sein. In dem Buch wird es in Abbildung 4-5 aufgegriffen, und die Erklärung wird weggelassen als "Lassen Sie uns darüber nachdenken, warum wir hinzufügen".

Also habe ich darüber nachgedacht, indem ich es mit der Backpropagation-Berechnung für die MatMul-Ebene verglichen habe. Dies liegt daran, dass die Einbettungsebene das gleiche Ergebnis wie die MatMul-Ebene haben muss.

Ändern Sie zunächst $ idx $ in Abbildung 4-5 wieder in $ x $ in der MatMul-Ebene.

\begin{align}
idx &= 
\begin{pmatrix}
0\\
2\\
0\\
4\\
\end{pmatrix}\\
\\
x &=
\begin{pmatrix}
1 & 0 & 0 & 0 & 0 & 0 & 0\\
0 & 0 & 1 & 0 & 0 & 0 & 0\\
1 & 0 & 0 & 0 & 0 & 0 & 0\\
0 & 0 & 0 & 0 & 1 & 0 & 0\\
\end{pmatrix}
\end{align}

Die Backpropagation-Formel für die MatMul-Ebene lautet $ \ frac {\ partielles L} {\ partielles W} = x ^ T \ frac {\ partielles L} {\ partielles y} $ (siehe Seite 33), siehe Abbildung 4-5 Wenn Sie es durch die Notation von ersetzen, wird es zu $ dw = x ^ Tdh $. Wenn Sie hier $ x $ und $ dh $ in Abbildung 4-5 anwenden, um $ dW $ zu berechnen, erhalten Sie: Eigentlich wollte ich $ dh $ machen, wie in Abb. 4-5 gezeigt, aber ich kann den Farbton von ● nicht wie ein Buch ausdrücken, also drücke ich ihn hier mit $ ●, ◆, a, b $ aus.

\begin{align}
dW &= x^Tdh\\
\\
\begin{pmatrix}
? & ? & ? \\
○ & ○ & ○ \\
●_1 & ●_2 & ●_3 \\
○ & ○ & ○ \\
◆_1 & ◆_2 & ◆_3 \\
○ & ○ & ○ \\
○ & ○ & ○ \\
\end{pmatrix}
&=
\begin{pmatrix}
1 & 0 & 1 & 0\\
0 & 0 & 0 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 0 & 0\\
0 & 0 & 0 & 1\\
0 & 0 & 0 & 0\\
0 & 0 & 0 & 0\\
\end{pmatrix}
\begin{pmatrix}
a_1 & a_2 & a_3 \\
●_1 & ●_2 & ●_3 \\
b_1 & b_2 & b_3 \\
◆_1 & ◆_2 & ◆_3 \\
\end{pmatrix}\\
\end{align}

Wie Sie der Berechnung entnehmen können, sind die zweite Zeile ($ ● _1 ● _2 ● _3 ) und die vierte Zeile ( ◆ _1 ◆ _2 ◆ _3 $) von $ dh $ so, wie sie in Abbildung 4-5 dargestellt sind. Es wird die 3. und 5. Zeile von sein. Und das $? $ In der ersten Zeile des fraglichen $ dW $ sieht folgendermaßen aus:

\begin{align}
\begin{pmatrix}
a_1 + b_1 & a_2 + b_2 & a_3 + b_3 \\
○ & ○ & ○ \\
●_1 & ●_2 & ●_3 \\
○ & ○ & ○ \\
◆_1 & ◆_2 & ◆_3 \\
○ & ○ & ○ \\
○ & ○ & ○ \\
\end{pmatrix}
&=
\begin{pmatrix}
1 & 0 & 1 & 0\\
0 & 0 & 0 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 0 & 0\\
0 & 0 & 0 & 1\\
0 & 0 & 0 & 0\\
0 & 0 & 0 & 0\\
\end{pmatrix}
\begin{pmatrix}
a_1 & a_2 & a_3 \\
●_1 & ●_2 & ●_3 \\
b_1 & b_2 & b_3 \\
◆_1 & ◆_2 & ◆_3 \\
\end{pmatrix}
\end{align}

Mit anderen Worten, Sie können sehen, dass wir die erste und dritte Zeile von $ dh $ hinzufügen. Das Gleiche wie die Berechnung dieser MatMul-Ebene muss in der Einbettungsschicht implementiert werden, daher muss sie hinzugefügt werden.

4.2 Verbesserung von word2vec②

Als nächstes folgt die Verbesserung von der Zwischenschicht zur Ausgangsschicht. Interessant ist die Idee der negativen Stichprobe, um das Lernen mit negativen Beispielen drastisch zu reduzieren.

Es gab keinen großen Stolperstein, aber in dem Buch wird die Erklärung der Rückausbreitung der Embedding Dot-Ebene weggelassen, da es "kein schwieriges Problem ist, also lassen Sie uns selbst darüber nachdenken", daher werde ich hier ein wenig zusammenfassen. schauen.

Wenn Sie in Abbildung 4-12 nur den Teil der Ebene "Einbettungspunkt" ausschneiden, ist dies wie folgt.

Der Punktknoten multipliziert jedes Element und addiert die Ergebnisse. Berücksichtigen Sie daher die Rückausbreitung, indem Sie sie in einen Multiplikationsknoten (siehe "1.3.4.1 Multiplikationsknoten" in Kapitel 1) und einen Summenknoten (siehe "1.3.4.4 Summenknoten" in Kapitel 1) zerlegen. Dann hat es die folgende Form. Blaue Buchstaben sind Rückausbreitung.

Wenn Sie dies zum vorherigen Punktknotendiagramm zurückgeben, sieht es folgendermaßen aus:

Es ist in Ordnung, wenn es wie in dieser Abbildung gezeigt implementiert ist, aber da die Form von "dout" nicht mit "h" und "target_W" übereinstimmt, kann das Produkt jedes Elements nicht mit "*" von NumPy berechnet werden. Ordnen Sie daher zuerst die Formen "dout.reshape (dout.shape [0], 1)" zu und berechnen Sie dann das Produkt. Wenn Sie es auf diese Weise implementieren, können Sie sehen, dass es der Code von "EmbeddingDot.backwad ()" im Buch wird.

4.3 Verbessertes Lernen von word2vec

Die Umsetzung des Lernens ist nicht besonders stolpernd. Ich benutze das PTB-Korpus in dem Buch, aber ich mag Japanisch, also habe ich versucht, mit Aozora Bunkos vorab geschriebenem Text wie in Kapitel 2 zu lernen. Es war.

Um den Korpus zu erhalten, verwenden Sie die modifizierte Version von "Dataset / aozorabunko.py" anstelle von "Dataset / ptb.py". Weitere Informationen zu dieser Quelle und diesem Mechanismus finden Sie in [Kapitel 2, Memo "Verbesserung der zählbasierten Methode"](https://qiita.com/segavvy/items/52feabbf7867020e117d#24-Verbesserung der zählbasierten Methode). Ich habe es geschrieben, bitte beziehen Sie sich darauf.

ch04 / train.py wurde ebenfalls geändert, um den Korpus von Aozora Bunko wie folgt zu verwenden. Die Änderungen sind diejenigen mit "★" in den Kommentaren.

ch04/train.py

# coding: utf-8
import sys
sys.path.append('..')
from common import config
#Wenn Sie mit einer GPU arbeiten, löschen Sie den folgenden Kommentar (Cupy erforderlich).
# ===============================================
# config.GPU = True
# ===============================================
from common.np import *
import pickle
from common.trainer import Trainer
from common.optimizer import Adam
from cbow import CBOW
from skip_gram import SkipGram
from common.util import create_contexts_target, to_cpu, to_gpu
from dataset import aozorabunko  #★ Geändert, um das Korpus von Aozora Bunko zu verwenden

#Hyper-Parametereinstellungen
window_size = 5
hidden_size = 100
batch_size = 100
max_epoch = 10

#Daten lesen
corpus, word_to_id, id_to_word = aozorabunko.load_data('train')  #★ Korpus wechseln
vocab_size = len(word_to_id)

contexts, target = create_contexts_target(corpus, window_size)
if config.GPU:
    contexts, target = to_gpu(contexts), to_gpu(target)

#Generierung von Modellen etc.
model = CBOW(vocab_size, hidden_size, window_size, corpus)
# model = SkipGram(vocab_size, hidden_size, window_size, corpus)
optimizer = Adam()
trainer = Trainer(model, optimizer)

#Fang an zu lernen
trainer.fit(contexts, target, max_epoch, batch_size)
trainer.plot()

#Speichern Sie die Daten, die Sie zur späteren Verwendung benötigen
word_vecs = model.word_vecs
if config.GPU:
    word_vecs = to_cpu(word_vecs)
params = {}
params['word_vecs'] = word_vecs.astype(np.float16)
params['word_to_id'] = word_to_id
params['id_to_word'] = id_to_word
pkl_file = 'cbow_params.pkl'  # or 'skipgram_params.pkl'
with open(pkl_file, 'wb') as f:
    pickle.dump(params, f, -1)

Darüber hinaus dauerte das Lernen in der jeweiligen Umgebung ca. 8 Stunden. Als nächstes folgt die Bestätigung des Ergebnisses. Ich habe ch04 / eval.py ein wenig geändert, damit ich verschiedene Wörter aus der Standardeingabe ausprobieren kann. ★ ist der geänderte Teil.

ch04/eval.py

# coding: utf-8
import sys
sys.path.append('..')
from common.util import most_similar, analogy
import pickle


pkl_file = 'cbow_params.pkl'
# pkl_file = 'skipgram_params.pkl'

with open(pkl_file, 'rb') as f:
    params = pickle.load(f)
    word_vecs = params['word_vecs']
    word_to_id = params['word_to_id']
    id_to_word = params['id_to_word']

#ähnlichste Aufgabe ★ Die Abfrage wurde in die Standardeingabe geändert
while True:
    query = input('\n[similar] query? ')
    if not query:
        break
    most_similar(query, word_to_id, id_to_word, word_vecs, top=5)


#Analogie-Aufgabe ★ Die Abfrage wurde in die Standardeingabe geändert
print('-'*50)
while True:
    query = input('\n[analogy] query? (3 words) ')
    if not query:
        break
    a, b, c = query.split()
    analogy(a, b, c,  word_to_id, id_to_word, word_vecs)

Nachfolgend sind die Ergebnisse verschiedener Versuche aufgeführt.

Suchen Sie zunächst nach ähnlichen Wörtern. Zum Vergleich habe ich auch die zählbasierte aufgelistet, die ich in Kapitel 2 ausprobiert habe. Außerdem war die Fenstergröße von CBOW im Code des Buches 5, aber ich habe auch 2 ausprobiert, was der Zählbasis entspricht.

Es ist ziemlich verwirrend wie in Kapitel 2. Es kann keine Überlegenheit oder Unterlegenheit gegeben werden. Der Bereich, in dem "Katzen" in "mir" erscheinen, zeigt die Tendenz des Korpus. Es scheint, dass der Grund dafür ist, dass die Größe des Korpus zu klein ist, da nur die Werke von Soseki Natsume, Kenji Miyazawa und Ranpo Edogawa verwendet werden.

Als nächstes kommt das Analogieproblem.

Plötzlich ist das erste Problem eine Mischung aus niedrigen Punktzahlen, aber belastenden Ergebnissen. Unzureichende Trainingsdaten können beängstigende Dinge verursachen. Ich habe das Gefühl, einen Blick auf den Hintergrund der jüngsten Nachfrage nach "erklärbarer KI" zu werfen.

Andere Ergebnisse sind ebenfalls zerfetzt, aber kaum die richtigen Antworten wurden in "body: face = car :?" Und "go: come = speak :?" Gemischt. Das Auftreten von "Polizisten" und "Polizisten" in "Automobilen" ist wahrscheinlich auf Ranpo Edogawa zurückzuführen.

Immerhin hätte ich die japanische Version von Wikipedia gehorsam verwenden sollen, aber es ist eine teuflische Sache: Schweiß: Es gibt viele Leute, die Wikipedia ausprobieren. Wenn Sie also interessiert sind, "Wikipedia Japanese Corpus" Bitte versuchen Sie es mit Google mit.

4.4 Verbleibende Themen für word2vec

Die negative / positive Beurteilung von E-Mails wird als Beispiel für das Transferlernen erläutert. Mit dem Wissen bis zu diesem Kapitel können Sätze wie E-Mails jedoch nicht in Vektoren fester Länge konvertiert werden, selbst wenn Wörter in Vektoren fester Länge konvertiert werden können. .. Daher können wir eine solche Aufgabe noch nicht anfechten.

Auch in Bezug auf die Qualität verteilter Ausdrücke scheint im Fall von Japanisch die Qualität des Schreibens vor der Trennung einen großen Effekt zu haben. Einige japanische Modelle für verteilte Ausdrücke wurden veröffentlicht, aber wenn ich überlege, sie zu übertragen, denke ich, dass es eine Voraussetzung ist, denselben abteilungsweisen Schreibmechanismus (Logik, Wörterbuchinhalte, Parameter usw.) zu verwenden. .. Bedeutet dies in diesem Fall, dass Transferlernen nicht einfach mit Aufgaben durchgeführt werden kann, die sich beispielsweise mit branchenspezifischen Fachbegriffen oder einzelnen Unternehmen befassen? Japanisch ist viel Arbeit.

4.5 Zusammenfassung

Die erste Hälfte dieses Buches ist endlich vorbei, aber wenn man bedenkt, dass Kapitel 1 eine Rezension des ersten Bandes war, kann es immer noch ungefähr 1/3 sein. Das Ziel scheint lang zu sein ...

Das ist alles für dieses Kapitel. Wenn Sie Fehler haben, wäre ich Ihnen dankbar, wenn Sie darauf hinweisen könnten.