[PYTHON] Themenextraktion des japanischen Textes 2 Praktische Ausgabe

Aidemy　2020/10/30

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dieses Mal ist es der zweite Beitrag zur Themenextraktion von japanischem Text. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Implementierung eines Antworttextauswahlsystems

Antworttextauswahlsystem

-__ Antwortsatzauswahlsystem __ ist ein System __, das Kandidaten für mehrere Antwortsätze für einen Fragensatz erhält und automatisch die richtige Antwort aus diesen auswählt. -Für den Datensatz verwenden Sie Textbook Question Answering und verwenden Sie die Trainingsdaten als "train.json" und die Bewertungsdaten als "val.json".

Datenvorverarbeitung

-Wenn Sie Deep Learning in der Verarbeitung natürlicher Sprache verwenden, können die Daten nicht so behandelt werden, wie sie sind. Wie wir in "Natural Language Processing" gelernt haben, müssen Sätze zuerst in Wörter "__separation " unterteilt werden. Dieses Mal werden wir auch jedem word __ eine ID zuweisen. -Da die Matrixberechnung nicht durchgeführt werden kann, wenn die Längen der Eingabesätze unterschiedlich sind, ist es außerdem erforderlich, " die Längen der Eingabesätze zu vereinheitlichen". Dies wird auch als Padding bezeichnet. Details werden später beschrieben, aber 0 wird zu kurzen Sätzen hinzugefügt und lange Sätze werden gelöscht.

Normalisierung / Division

• Als Datenvorverarbeitung werden zunächst __Normalisierung und Division __ durchgeführt. Da die Daten diesmal auf Englisch sind, erfolgt die Normalisierung und Aufteilung auf Englisch. -Für die englische Normalisierung wird die Methode der __Unisierung in Groß- und Kleinbuchstaben angewendet. Diesmal __ "Alle Kleinbuchstaben vereinheitlichen" __ Verarbeitung. Sie kann mit der Methode __ "lower ()" __ für englische Sätze gesenkt werden. ・ Verwenden Sie ein Tool namens nltk für die englische Division. Wenn Sie einen normalisierten Satz an __ "word_tokenize ()" __ von nltk übergeben, gibt __ eine durch Wort __ geteilte Liste zurück.

-Code (Ergebnisse sind ['Erde', 'Wissenschaft', 'ist', 'die', 'Studie', 'von'])

Wort-ID

• Da das Wort selbst nicht als Eingabe in das neuronale Netz behandelt wird, muss __ID __ angegeben werden. -Wenn allen Wörtern IDs zugewiesen werden, ist die Anzahl der Daten zu groß. Daher sollten nur diejenigen mit einer bestimmten Häufigkeit oder mehr in __ID __ konvertiert werden.

-Der tatsächliche Code lautet wie folgt. Siehe unten für eine detaillierte Erklärung.

・ Über den obigen Code __ "def preprocess (s)" __ ist eine Funktion __, die __normalisierung und Division im vorherigen Abschnitt durchführt. Darunter wird __preprocess () __ verwendet, um den Fragentext ['Frage'] und den Antworttext ['Auswahlmöglichkeiten'] der Zugdaten zu normalisieren und zu trennen, und das Ergebnis (Liste) ist eine leere Liste. In "Sätzen" speichern. Für jedes Wort (w) in der "geteilten Liste (n)" in diesen Sätzen ist ein Wörterbuch mit der Häufigkeit, die durch "vocab.get ()" unter Verwendung von __ 'w'als Schlüssel als Wert erhalten wird. In "Vokabeln" speichern __. Bereiten Sie außerdem ein leeres Wörterbuch "word2id" vor. Für jede Taste (w) und jeden Wert (v) der Stimme hat __word2id noch nicht dieselbe Taste (w) und der Wert (v), dh die Häufigkeit beträgt 2 oder mehr. Gibt eine ID mit "len (word2id)" __. Übrigens hat jeder Wert, wenn die Frequenz als '' 1 angesehen wird, voreingestellt, so dass 0. Der "Ziel" -Teil unten normalisiert und teilt tatsächlich "Frage" und erhält die ID in "word2id" für jedes Wort.

Padding

• Bei der Datenvorverarbeitung wird am Ende ein Auffüllen ausgeführt, das die Länge der Anweisung __ vereinheitlicht. Insbesondere für kurze Sätze fügen Sie am Ende so viel wie nötig 0 hinzu, was eine Dummy-ID ist. __ Löschen Sie für lange Sätze so viele Wörter wie nötig am Ende des Satzes __. Es ist erledigt in. -Um das Auffüllen auszuführen, verwenden Sie __ "pad_sequences (argument)" __ von Keras. Übergeben Sie Daten als erstes Argument. Die folgenden Argumente lauten wie folgt. ・ Maxlen: Maximale Länge -Dtype: Datentyp (in diesem Fall "np.int32") -Padding: Geben Sie 'pre'or'post' an. Gibt an, ob das Auffüllen von vorne oder hinten im Satz ausgeführt wird. ・ Abschneiden: Entspricht dem Auffüllen. Dies löscht das Wort. -Wert: Geben Sie an, welcher Wert aufgefüllt werden soll. (Diesmal 0)

·Code

Ein Modell bauen

Gesamtbild

-Verwenden Sie __ "Aufmerksamkeitsbasiertes QA-LSTM" __ für das Modell. Das Verfahren ist wie folgt. ① Implementieren Sie __BiLSTM für jede Frage und Antwort __. (2) Von Frage zu Antwort Achtung und Antwortinformationen unter Berücksichtigung der Frage erhalten. ③ Berechnen Sie aus der Frage und Antwort nach Aufmerksamkeit __ den Durchschnitt (mean_pooling) des verborgenen Zustandsvektors zu jedem Zeitpunkt __. ④ Ausgabe __ durch Kombinieren der beiden Vektoren von ③.

・ Abbildung

(1) Implementieren Sie BiLSTM für Fragen und Antworten

-__ BiLSTM__ ist ein __ "bidirektionales rekursives neuronales Netz" __, das Werte aus beiden Richtungen eingibt, wie in Kapitel 1 dargestellt. Die Implementierung erfolgt mit __ "Bidirektional (Argument)" __.

• Setzen Sie die Eingabeebene von Question auf "input1" und setzen Sie Embedding als BiLSTM mit __Bidirectional () __. In ähnlicher Weise implementieren Sie für Answer BiLSTM mit der Eingabeebene als "input2".

・ Code

② Aufmerksamkeit von Frage zu Antwort

• Lassen Sie die Maschine mit Attention "bestimmen, ob Antwort als Antwort auf Frage geeignet ist", dh indem Sie die Eigenschaften der Antwort berechnen, indem Sie den verborgenen Zustandsvektor der Frage zu einem bestimmten Zeitpunkt __Frage berücksichtigen Sie können Antwortinformationen unter Berücksichtigung der Informationen von __ erhalten.
• Berechnen Sie das Matrixprodukt mit "__dot () __" für "h1" und "h2", bei denen BiLSTM "bilstm1" und "bilstm2" aus zwei Sätzen herausgefallen ist, wenden Sie die __Softmax-Funktion __ darauf an und dann __ Es kann erstellt werden, indem das Matrixprodukt von this und h1 __ berechnet und dieses und h2 mit "__concatenate () __" verbunden werden, um die dichte Ebene zu bilden.

・ Code

Berechnen Sie jeweils den Durchschnitt (mean_pooling) der versteckten Zustandsvektoren

• Berechnen Sie aus der Frage und Antwort nach der Aufmerksamkeit __ den Durchschnitt der verborgenen Zustandsvektoren zu jedem Zeitpunkt __. Der Durchschnitt zu diesem Zeitpunkt heißt __ "mean_pooling" . -Mean_pooling wird mit __ "AveragePooling1D (Argument) (x)" __ von Keras ausgeführt. Für jedes Argument - Pool_size : Geben Sie die Länge der zu übergebenden Daten x an - Schritte : Geben Sie eine Ganzzahl oder Keine an - Auffüllen __: Geben Sie "Wert" oder "Name" an

• Verwenden Sie im Code (später beschrieben) zuerst AveragePooling1D für "h1 (Fragenausgabe)" und "h (Antwortausgabe)", die im vorherigen Abschnitt erstellt wurden. Um in ④ zu kombinieren, sind dies Reshape.

Ausgabe durch Kombinieren der beiden Vektoren von ③

-Finale kombinieren Sie "mean_pooled_1" und "mean_pooled_2", die in ③ erstellt wurden, mit __concatenate () __. -In diesem Code müssen __ "sub" und "mult" an verketten () übergeben werden, also erstellen Sie sie jeweils. Nachdem Sie dies Reshape getan und eine Ausgabeebene als Ausgabe erstellt haben, erstellen Sie ein Modell mit __Model () __. Die Eingabeebene übergibt "Eingabe1" und "Eingabe2", die in ① erstellt wurden.

・ Code

Modelllernen

Lernen

• Da das Modell erstellt wurde, besteht der nächste Schritt darin, dieses Modell zu trainieren. Das Modelltraining selbst kann "__model.fit () __" sein, aber vorher müssen __ Trainingsdaten erstellt und das Antwortetikett __ korrigiert werden. ・ Zum __trainieren von Daten Fragen und Antworten auflisten und übergeben __. Erstellen Sie als Prozedur zunächst eine leere Liste "Fragen" "Antworten", speichern Sie __ 'Frage' __ der Zugdaten in der ersteren und speichern Sie den Wertteil von __ 'answerChoices' __ in der letzteren. Und geben Sie es an das Modell weiter. -Für das richtige Antwortetikett setzen Sie die gleiche Auswahl wie die __Antwort als [1,0] und die anderen als [0,1] __ "in die leere Liste" Ausgaben "und setzen Sie diese in die leere Liste" Ausgaben "__np.array () __ Übergeben Sie es nach der Konvertierung in das NumPy-Format mit an model. Sie können überprüfen, ob __ dieselbe Option wie die Antwort ist, und prüfen, ob der Schlüssel (die Nummer) von __ 'answerChoices' mit'correctAnswer 'übereinstimmt.

・ Code

Prüfung

-Finale __ testen Sie die Genauigkeit des Modells anhand der Bewertungsdaten __. Seit dieser Zeit werden ___2 Wertklassifizierungen __, __ "Genauigkeit", "Präzision" und "Rückruf" __ als Indikatoren für die Genauigkeit berechnet. ・ (Überprüfung) In Bezug auf die tatsächliche Klassifizierung von Vorhersagen gibt es vier Typen: __ wahr positiv, falsch positiv, falsch negativ und richtig negativ __ und "wie sehr die Vorhersage insgesamt korrekt war" ist _korrekte Rate _, "Das Verhältnis von dem, was als positiv vorhergesagt wurde, das tatsächlich positiv war" ist __ Anpassungsrate __, und "das Verhältnis von dem, was korrekt war und was als positiv vorhergesagt wurde" ist __ Rückrufrate __. ・ Bei der Berechnung dieser Indikatoren müssen wir zuerst die Anzahl der __wahren Positiven __ überprüfen. Um dies herauszufinden, muss es eine "Vorhersage" und eine "richtige Antwort" für die Klassifizierung geben. Die "Vorhersage" kann mit __ "model.predict ()" __ erhalten werden, und die "richtige Antwort" kann so erhalten werden, wie sie aus den im vorherigen Abschnitt erstellten Ausgaben stammt. Beide werden als [1,0] gespeichert, wenn die Antwort richtig (richtig) ist, und als [0,1], wenn die Antwort falsch (negativ) ist. Wenn Sie also nur die zweite Spalte mit __axis = -1 extrahieren, können Sie das Positive oder Negative sehen. _. Danach klassifizieren wir basierend auf diesem Positiven und Negativen vier als wahres Positiv und berechnen die richtige Antwortrate.

・ Code

・ Ergebnis

Aufmerksamkeitsvisualisierung

• Die Aufmerksamkeit von Satz s bis t, __ $ a_ {ij} $ __ gibt an, wie sehr das j-te Wort von _s auf das i-te Wort von t __ achtet. Matrix A mit diesem $ a {ij} $ als (i, j) -Komponente heißt Attention Matrix. Wenn Sie dies betrachten, können Sie die Beziehung zwischen den Wörtern __s und t __ visualisieren. -Die vertikale Achse ist Antwortwort und die horizontale Achse ist Fragenwort. Der weiße Teil __ ist enger verwandt.

・ Abbildung (Code unten)

・ Code

Zusammenfassung

• Wenn Daten an ein Deep-Learning-Modell übergeben werden, müssen die Daten vorverarbeitet werden. Es gibt vier Arten der Vorverarbeitung: Division, Normalisierung, ID-Konvertierung und Auffüllen. -Das diesmal verwendete Modell "Aufmerksamkeitsbasiertes QA-LSTM" wird erstellt, indem BiLSTM implementiert, der Durchschnitt von Frage und Antwort nach Aufmerksamkeit berechnet und kombiniert wird. ・ Übergeben Sie beim Training des Modells die Trainingsdaten (Fragen-ID) und das Lehreretikett (Antwortnummer). Zum Zeitpunkt der Auswertung werden die richtige Antwortrate und die Genauigkeitsraten-Rückrufrate berechnet. ・ Durch Visualisierung von Attention wird die Beziehung zwischen den beiden Daten sichtbar.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.