2-2

Als Modell verwende ich BERT, ein heißes Modell für die Verarbeitung natürlicher Sprache in letzter Zeit (oder eher vor einiger Zeit?). Ich habe nicht wirklich verstanden, was BERT ist, also habe ich auf die folgende Seite verwiesen. https://udemy.benesse.co.jp/ai/bert.html https://ainow.ai/2019/05/21/167211/ http://deeplearning.hatenablog.com/entry/transformer

Das diesmal verwendete Modell ist das BERT + CNN-Modell. Der BERT-Teil ist ziemlich schwer alleine zu trainieren. Als ich mich fragte, was ich tun sollte, fand ich die folgenden sehr dankbar. https://yoheikikuta.github.io/bert-japanese/ Gott. Vielen Dank.

Übrigens, da dies ein Satzstück ist, muss ich Lerndaten machen ... Hmm ...? https://qiita.com/hideki/items/1ec1c21c33326ad5615f

Eh, ist es zu bequem? Vielen Dank. Die Ansammlung großer Vorfahren hat es daher ermöglicht, Vektoren durch das Monstermodell BERT sofort zu erfassen.

Also werde ich den Kopfteil machen. Als armer Schüler konnte ich diesmal nicht genügend Computerressourcen vorbereiten, um jedes BERT zu optimieren. Daher optimiere ich nur den Hauptteil mit Google Colablatory. (Danke an Google)

Der von BERT erhaltene Vektor ist Wort für Wort. Geben Sie die Vektoren für zwei Dokumente ein und lösen Sie das Problem als Zwei-Klassen-Klassifikation mit derselben Bedeutung oder nicht.

Der Punkt, den ich hier ein wenig erfunden habe, ist, dass der Eingabevektor durch abwechselndes Einfügen der Vektoren von zwei Dokumenten erstellt wurde. Dies liegt daran, dass ich dachte, es wäre besser, einen Vektor mit Positionsinformationen zu haben, der nahe beieinander liegende Wörter näher beieinander platziert, als sie parallel anzuordnen.

Die obigen Vektoren werden von CNN klassifiziert. Die Konfiguration von CNN ist bei Keras wie folgt.

def make_network():
    x_in = Input((256,768,1))
    x = Conv2D(64,(3,3),padding="valid")(x_in)
    x = BatchNormalization()(x)
    x = Activation('relu')(x)
    x = Conv2D(64,(3,3),padding="valid")(x)
    x = BatchNormalization()(x)
    x = Activation('relu')(x)
    x = MaxPooling2D(pool_size=(3,3),strides=2,padding="same")(x)

    x = Conv2D(64,(2,2),padding="valid")(x)
    x = BatchNormalization()(x)
    x = Activation('relu')(x)
    x = Conv2D(128,(2,2),padding="valid")(x)
    x = BatchNormalization()(x)
    x = Activation('relu')(x)
    x = MaxPooling2D(pool_size=(3,3),strides=2,padding="same")(x)

    x = GlobalAveragePooling2D()(x)

    x = Dense(2)(x)
    x = Activation("softmax")(x)
    model = Model(x_in,x)
    return model

Nun, es ist nur ein CNN ohne besondere Änderungen.

def data_gen(data_X,data_y,vectorian,batchsize=32):
    d_cnt = 0
    x = []
    y = []
    while True:
        for i in range(len(data_X)):
            t_l = str(data_X[i][0])
            t_r = str(data_X[i][1])

            t_l = vectorian.fit(t_l).vectors
            t_r = vectorian.fit(t_r).vectors


            itp = range(t_l.shape[1])
            in_x = np.insert(t_r,itp,t_l[:,itp],axis=1)
            
            x.append(in_x)
            
            if data_y[i] == 1:
                y.append([0,1])
            else:
                y.append([1,0])
            
            d_cnt += 1
            
            if d_cnt == batchsize:
                inputs = np.array(x).astype(np.float32)
                inputs = inputs.reshape(batchsize,256,768,1)
                targets = np.array(y)
                x = []
                y = []
                d_cnt = 0
                yield inputs,targets

Nun, es ist nicht interessant. Also fing ich an zu lernen

Es dauerte eine Epoche pro Stunde, daher war das Lernen bei Google Colablatory ein Schmerz. Die Genauigkeit von 3 bis 5 Epochen ist wie folgt (ich habe die Ausgabe von 1 bis 2 Epochen aufgrund der GPU-Beschränkung auf dem Weg und der neuen Laufzeit gelöscht.)

Epoch 1/1
1955/1955 [==============================] - 3846s 2s/step - loss: 0.1723 - categorical_accuracy: 0.9396 - val_loss: 0.1632 - val_categorical_accuracy: 0.9398
Epoch 1/1
1955/1955 [==============================] - 3852s 2s/step - loss: 0.1619 - categorical_accuracy: 0.9436 - val_loss: 0.1477 - val_categorical_accuracy: 0.9487
Epoch 1/1
1955/1955 [==============================] - 3835s 2s/step - loss: 0.1532 - categorical_accuracy: 0.9466 - val_loss: 0.1462 - val_categorical_accuracy: 0.9482

Es scheint, dass der Verlust immer noch sinken wird, aber es ist schwierig, an der Vorderseite des PCs festzuhalten. Bitte verzeihen Sie mir ... Übrigens wird es diesmal erzwungen, aber da es sich um ausgeglichene Daten handelt, wird F1 nicht berechnet ~~ (störend) ~~

Wenn es sich um ausgewogene Daten handelt, denke ich, dass die Genauigkeit kein so seltsames Ergebnis liefert.

Ausgabe

Sie können das obige Modell und Wörterbuch verwenden, um eine Beurteilung der Satzumschreibung und einen Schwierigkeitsgrad vorzunehmen. Bereiten Sie gegebenenfalls eine Ausgabefunktion vor.

def texts_to_inputs(text1,text2):
    t_l = text1
    t_r = text2

    t_l = vectorian.fit(t_l).vectors
    t_r = vectorian.fit(t_r).vectors

    itp = range(t_l.shape[1])
    in_x = np.insert(t_r,itp,t_l[:,itp],axis=1).reshape(1,256,768,1)
    return in_x

def easy_trans_scores(test1,test2,vocab_diff_dic):
    test_x = texts_to_inputs(test1,test2)
    p = model.predict(test_x)

    result = jumanpp.analysis(test1)
    d1 = 0
    d1_cnt = 0
    for mrph in result.mrph_list(): #Greifen Sie auf jede Morphologie zu
        if mrph.hinsi in indep:
            if mrph.genkei in vocab_diff_dic:
                d1 += vocab_diff_dic[mrph.genkei]
                d1_cnt += 1
    print("Implikationswahrscheinlichkeit:{:.3g}Totale Schwierigkeit:{}Anzahl unabhängiger Wörter:{}Durchschnittliche Schwierigkeit:{}".format(p[0][1],d1,d1_cnt,d1/d1_cnt))
    print("total score:{:.5g}".format(p[0][1]/d1))

Lassen Sie uns zunächst Implikation / (Gesamtschwierigkeit) als Punktzahl verwenden. Der Grund für die Gesamtschwierigkeit und nicht für die durchschnittliche Schwierigkeit ist, dass ich dachte, es sei besser, kurze und prägnante Sätze gut zu bewerten. Nun, es gibt einen Fehler, dass wenn der Gesamtschwierigkeitsgrad 0 ist, der Wert immer inf wird und es keine Implikationen gibt ... Diesmal ist es okay ...

Ergebnis

Die Paraphrasen, bei denen die höchste Punktzahl festgestellt wird, sind fett gedruckt. Ist es nicht ein einigermaßen überzeugendes Ergebnis?

Übrigens, Herr Aizen ... Bitte geben Sie mir ein paar freundliche Worte ...

Ergebnis 2 (Addition) Mit anderen Worten, guter Kampf und die Macht von Kim Roger

Mit diesem System habe ich einen Freund paraphrasiert und ein gutes Match mit Königentscheidung gespielt (1-gegen-1-Spiel, aber wenn ich gewinne, werde ich der König sein). Es wird so aussehen, wenn es zu einem Spiel gemacht wird? Es ist wie es ist.

Klicken Sie hier für das Thema.

** Der Mann, der all den Reichtum, den Ruhm, die Macht und die Welt bekam. Gold Roger, der Piratenkönig. Ein Wort, das er bei seinem Tod gab, trieb die Menschen ans Meer. ** ** **

Dies ist der Mund des OP einer bestimmten nationalen Animation, die jeder kennt.

Erster Zug (I) 1. Runde

** Geld, Position, Macht Der Mann, der alles auf dieser Welt genommen hat, der Piratenkönig Gold Roger Die Worte, die er vor seinem Tod sagte, ließen die Menschen zum Meer gehen **

Punktzahl: Implikationswahrscheinlichkeit: 0,696 Gesamtschwierigkeit: 8 ** Gesamtpunktzahl: 0,087022 **

Nun, ich denke es ist ein guter erster Schritt. Da die Implikationswahrscheinlichkeit etwas gering ist, habe ich das Gefühl, dass ich zu viel angegriffen habe, um den Schwierigkeitsgrad zu senken.

Zweiter Zug (gegenüber) 1. Runde

** "Der Mann, der all das Geld, die Popularität, die Macht und die Welt bekam, 'Piratenkönig Gold Roger' Das Wort, das er kurz vor seinem Tod sagte, schickte Menschen ans Meer" **

Punktzahl: Implikationswahrscheinlichkeit: 0,974 Gesamtschwierigkeit: 14 ** Gesamtpunktzahl: 0,069588 **

Es wird mit Implikationen gesprochen, aber ich bin immer noch besser in der Gesamtpunktzahl. Wenn Sie nicht angreifen, indem Sie Wörter umschreiben, wird es so sein. Es ist überraschend strategisch.

Erster Zug (I) 2. Runde

** Geld, Popularität, Macht, der Mann, der alles auf der Welt hat, 'Piratenkönig Gold Roger' Die Worte, die er vor seinem Tod sagte, ließen die Leute aufs Meer gehen **

Punktzahl: Implikationswahrscheinlichkeit: 0,917 Gesamtschwierigkeit: 9 ** Gesamtpunktzahl: 0,10194 **

Da die andere Partei eine höhere Implikationswahrscheinlichkeit hatte, konnte ich die Implikationswahrscheinlichkeit und die Gesamtpunktzahl erheblich verbessern, indem ich sie als Modell einbezog. Dies ist ** gewonnen ** (Flagge)

2. Runde (gegenüber) 2. Runde (Gewinnsatz)

** Der Mann, der all das Geld, die Popularität, die Macht und den Weltpiratenkönig Kim Roger bekam. Das Wort, das er sagte, als er starb, schickte alle ans Meer **

Punktzahl: Implikationswahrscheinlichkeit: 0,952 Gesamtschwierigkeit: 9 ** Gesamtpunktzahl: 0,10581 **

e ···?

hat verloren. Obwohl es sich um eine enge Marge handelt, verliert man. Wahrscheinlich war der Gewinner ** Kim Roger **. Dies reduziert den Schwierigkeitsgrad erheblich, während die Implikationswahrscheinlichkeit erhalten bleibt. (Als ich das Ergebnis sah, lachte ich.)

Nun, es ist auch ein interessanter Teil dieses Systems, dass Sie eine lustige Paraphrase haben können, die über ein solches Match entscheidet. ~~ Weil es hier und da schlampig ist ~~ Wie interpretierst du dieses System? Sie können um Punkte konkurrieren, die wettbewerbsfähig sind, einschließlich Meta-Wettbewerb, und Sie können auch um Punkte im Rahmen des gesunden Menschenverstandes kämpfen, und jeder hat seinen eigenen Spaß.

Zusammenfassung und Zukunftsaussichten

Obwohl es einige Macken gab, konnte ich irgendwie beurteilen, ob ich eine sanfte Paraphrase machen konnte oder nicht, indem ich das Implikationsurteil und das Schwierigkeitsurteil kombinierte.

** Das ist ziemlich interessant für mich ** (Es ist auch interessant, die Frage zu stellen: "Ist es gut umschrieben?" Oder ist ein solcher Satz nicht schwierig?) Also möchte ich daraus ein Spiel oder einen Dienst machen. (Ich möchte ein Online-Ranking usw. implementieren.) (Ich kann es jetzt nicht tun, weil ich nicht das Wissen habe, um Dienste aufzubauen.)

Wie ich eingangs erwähnt habe, können Sie, wenn Sie dies als Spiel genießen, es möglicherweise genießen und gleichzeitig einen Datensatz mit einfachen Paraphrasen erstellen, die von Menschen erstellt wurden, und indem Sie diese Daten verwenden, können Sie interessantere Überlegungen anstellen. Ich denke darüber nach.

Dieses Modell usw. (für diejenigen, die es ausprobieren möchten)

https://github.com/MosasoM/Aizen

Es ist passiert in. Ich habe es in das Repository geschrieben,

• JUMAN++
• text-vectorian
• BERT Japanisch gelerntes Modell (https://yoheikikuta.github.io/bert-japanese/)

Wenn Sie sich (wahrscheinlich) Aizen.ipynb ansehen, ist es ziemlich einfach, es zu versuchen. Wenn Sie interessante Ergebnisse haben oder dieses Bewertungssystem mögen, würde ich es begrüßen, wenn Sie einen Kommentar abgeben könnten.

Vielen Dank

Dieser Artikel basiert auf der Ausleihe von BERT-geschulten Modellen und verschiedenen Datensätzen. Wie im Text erwähnt, vielen Dank an alle, die diese gepflegt haben.