[PYTHON] Kann BERT den Unterschied zwischen "Ame (Süßigkeiten)" und "Ame (Regen)" verstehen?

Hintergrund

Word2Vec wurde bereits verwendet, scheint jedoch ein Ausdruck zu sein, der den Kontext nicht berücksichtigt.

"Die Wettervorhersage von morgen ist süß." "Ich habe Süßigkeiten in einem Süßwarenladen gekauft."

Wenn es zwei Sätze wie oben gibt Obwohl die Bedeutungen von "Regen" und "Süßigkeiten" unterschiedlich sind, sind sie dasselbe Wort, sodass sie dasselbe erkennen.

In der Zwischenzeit kann BERT unter Berücksichtigung des Kontextes Folgendes ausdrücken: Ich wollte sehen, ob das obige "Ame" eine andere Bedeutung hat.

planen

Zieldaten

Überprüfen Sie anhand des folgenden Korpus die ELMo-Implementierung im Artikel hier.

• Regen
• "Die Wettervorhersage von morgen ist fantastisch."
• "Ich bin nicht mit dem Hund spazieren gegangen, weil es heute Morgen Süßigkeiten waren."

* Süßigkeiten * "Ich habe Süßigkeiten in einem Süßwarenladen gekauft." * "Ich arbeite, während ich Süßigkeiten lecke." * "Ich bin nicht gut in sauren Süßigkeiten." * "Die Wettervorhersage von morgen ist Süßigkeiten." BERT-Modell

BERT verwendet huggingface / transformers, um verteilte Darstellungen zu erfassen.

Implementierung und Ergebnisse

Die Montage erfolgte in folgenden Schritten.

1. Wortteilung
2. Nummerieren Sie die Wörter
3. In Modelleingabeformat konvertieren (Tensorisierung)
4. Modellvorbereitung und Eingabe
5. Berechnen Sie die Ähnlichkeit zwischen den Ausgaben (Regen und Regen, Regen und Süßigkeiten, Süßigkeiten und Süßigkeiten).

import torch
import numpy as np
from transformers import BertJapaneseTokenizer, BertForMaskedLM

tokenizer = BertJapaneseTokenizer.from_pretrained('bert-base-japanese-whole-word-masking')

def tokenize(text):
    return tokenizer.tokenize(text)

def word_to_index(text):
    return tokenizer.convert_tokens_to_ids(text)

def to_tensor(tokens):
    return torch.tensor([tokens])


def cos_sim(vec1, vec2):
    x = vec1.detach().numpy()
    y = vec2.detach().numpy()

    x_l2_norm = np.linalg.norm(x, ord=2)
    y_l2_norm = np.linalg.norm(y, ord=2)
    xy = np.dot(x,y)

    return xy / (x_l2_norm * y_l2_norm)


if __name__ == "__main__":
    d_rainy_01 = "[CLS]Die Wettervorhersage von morgen ist süß.[SEP]"
    d_rainy_02 = "[CLS]Ich bin nicht mit dem Hund spazieren gegangen, weil es heute Morgen Süßigkeiten waren.[SEP]"
    d_rainy_03 = "[CLS]Es regnet, also regnet es jeden Tag.[SEP]"
    d_candy_01 = "[CLS]Ich habe eine Süßigkeit in einem Süßwarenladen gekauft.[SEP]"
    d_candy_02 = "[CLS]Arbeiten Sie beim Lecken von Süßigkeiten.[SEP]"
    d_candy_03 = "[CLS]Ich bin nicht gut in sauren Süßigkeiten.[SEP]"

    # 1.Wort geteilt
    tokenize_rainy_01 = tokenize(d_rainy_01)
    tokenize_rainy_02 = tokenize(d_rainy_02)
    tokenize_rainy_03 = tokenize(d_rainy_03)
    tokenize_candy_01 = tokenize(d_candy_01)
    tokenize_candy_02 = tokenize(d_candy_02)
    tokenize_candy_03 = tokenize(d_candy_03)

    # 2.Zahlenwörter
    indexes_rainy_01 = to_vocabulary(tokenize_rainy_01)
    indexes_rainy_02 = to_vocabulary(tokenize_rainy_02)
    indexes_rainy_03 = to_vocabulary(tokenize_rainy_03)
    indexes_candy_01 = to_vocabulary(tokenize_candy_01)
    indexes_candy_02 = to_vocabulary(tokenize_candy_02)
    indexes_candy_03 = to_vocabulary(tokenize_candy_03)

    # 3.In Modelleingabeformat konvertieren(Tensolisierung)
    tensor_rainy_01 = to_tensor(indexes_rainy_01)
    tensor_rainy_02 = to_tensor(indexes_rainy_02)
    tensor_rainy_03 = to_tensor(indexes_rainy_03)
    tensor_candy_01 = to_tensor(indexes_candy_01)
    tensor_candy_02 = to_tensor(indexes_candy_02)
    tensor_candy_03 = to_tensor(indexes_candy_03)

    # 4.Modellvorbereitung und Eingabe
    bert = BertForMaskedLM.from_pretrained('bert-base-japanese-whole-word-masking')
    bert.eval()

    index_rainy_01 = tokenize_rainy_01.index('Regen')
    index_rainy_02 = tokenize_rainy_02.index('Regen')
    index_rainy_03 = tokenize_rainy_03.index('Regen')
    index_candy_01 = tokenize_candy_01.index('Regen')
    index_candy_02 = tokenize_candy_02.index('Regen')
    index_candy_03 = tokenize_candy_03.index('Regen')
    vec_rainy_01 = bert(tensor_rainy_01)[0][0][index_rainy_01]
    vec_rainy_02 = bert(tensor_rainy_02)[0][0][index_rainy_02]
    vec_rainy_03 = bert(tensor_rainy_03)[0][0][index_rainy_03]
    vec_candy_01 = bert(tensor_candy_01)[0][0][index_candy_01]
    vec_candy_02 = bert(tensor_candy_02)[0][0][index_candy_02]
    vec_candy_03 = bert(tensor_candy_03)[0][0][index_candy_03]

    # 5.Zwischen den Ausgängen(Regen und Regen, Regen und Süßigkeiten, Süßigkeiten und Süßigkeiten)Berechnen Sie die Ähnlichkeit von
    print("Regen_01 and Regen_02 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_01, vec_rainy_02)))
    print("Regen_01 and Regen_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_01, vec_rainy_03)))
    print("Regen_02 and Regen_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_02, vec_rainy_03)))
    print("-"*30)


    print("Regen_01 und Süßigkeiten_01 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_01, vec_candy_01)))
    print("Regen_01 und Süßigkeiten_02 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_01, vec_candy_02)))
    print("Regen_01 und Süßigkeiten_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_01, vec_candy_03)))
    print("-"*30)

    print("Regen_02 und Süßigkeiten_01 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_02, vec_candy_01)))
    print("Regen_02 und Süßigkeiten_02 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_02, vec_candy_02)))
    print("Regen_02 und Süßigkeiten_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_02, vec_candy_03)))
    print("-"*30)

    print("Regen_03 und Süßigkeiten_01 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_03, vec_candy_01)))
    print("Regen_03 und Süßigkeiten_02 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_03, vec_candy_02)))
    print("Regen_03 und Süßigkeiten_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_rainy_03, vec_candy_03)))
    print("-"*30)

    print("Süßigkeiten_01 and Süßigkeiten_02 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_candy_01, vec_candy_02)))
    print("Süßigkeiten_01 and Süßigkeiten_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_candy_01, vec_candy_03)))
    print("Süßigkeiten_02 and Süßigkeiten_03 :Cos Ähnlichkeit von "Ame": {:.2f}".format(cos_sim(vec_candy_02, vec_candy_03)))

Um die Ergebnisse zusammenzufassen,

• Der durchschnittliche Ähnlichkeitswert zwischen denselben Bedeutungen beträgt * 0,865 *
• Der durchschnittliche Ähnlichkeitswert zwischen verschiedenen Positionen beträgt * 0,820 *

Zur Zeit sehe ich die Bedeutung von Regen und Süßigkeiten als unterschiedlich (?) Aber warum weicht der Wert nicht von den Erwartungen ab?

Bonus

NICT hat im März 2020 ein vorab trainiertes Modell veröffentlicht, daher habe ich es mit der Bert-Base-Japanisch-Ganzwort-Maskierung verglichen. Das Ergebnis der Verwendung des NICT-Modells, um Ähnlichkeit im selben Prozess zu erhalten, ist wie folgt.

• Der durchschnittliche Ähnlichkeitswert zwischen denselben Bedeutungen beträgt * 0,835 *
• Der durchschnittliche Ähnlichkeitswert zwischen verschiedenen Positionen beträgt * 0,837 *

abschließend

Das Ergebnis war nicht das, was ich erwartet hatte ... Ich weiß nicht, ob dies der richtige Weg ist, also lass es mich wissen!

Referenz

• https://qiita.com/norihitoishida/items/85150cfacc1f75f552f3
• https://github.com/huggingface/transformers