[PYTHON] Verarbeitung natürlicher Sprache 3 Wortkontinuität

Aidemy　2020/10/30

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur AI-spezialisierten Schule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der dritte Beitrag zur Verarbeitung natürlicher Sprache. Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ ・

Vorbereitung auf Wortkontinuität

Erstellen eines Wortwörterbuchs

・ Um eine "Wortkontinuitätsanalyse" durchzuführen, werden Wortdaten als Vorbereitung quantifiziert.

• Erstellen Sie nach dem Teilen des Datensatzes zunächst ein __Wortwörterbuch (Liste) __ mit dem ID-Satz, um jedem Wort eine ID zuzuweisen und zu quantifizieren. Von diesen möchten wir die Wörter in absteigender Reihenfolge ihres Auftretens nummerieren, also zählen wir die Anzahl der Vorkommen von __Wörtern und sortieren sie in absteigender Reihenfolge __.

• Zählen Sie die Anzahl der Wörter mit __Counter () __ und __itertools.chain () __. __Counter (itertools.chain (* Liste der zu zählenden Wortdaten)) __

-Counter () zählt die Anzahl der Elemente. Da das Ergebnis jedoch in mehreren Dimensionen zurückgegeben wird, kann nicht auf jedes Element einzeln zugegriffen werden. Dies wird mithilfe von __itertools.chain () __ auf eine Dimension zurückgegeben. Fügen Sie __ "*" __ zur mehrdimensionalen Liste hinzu, die an diese itertools.chain () übergeben wird.

-Verwenden Sie __most_common (n) __, um in absteigender Reihenfolge zu sortieren. Wenn n angegeben ist, wird die Anzahl der Taples in absteigender Reihenfolge zurückgegeben.

・ Sobald Sie dies getan haben, können Sie ein Wortwörterbuch erstellen, indem Sie jeder der sortierten Erscheinungszähllisten eine ID zuweisen und diese in einem leeren Wörterbuch speichern.

・ Code

Konvertieren Sie Wortdaten in numerische Daten

-Nachdem das Wörterbuch erstellt wurde, führen Sie die beabsichtigte __ "Quantifizierung des Datensatzes" __ aus.

• Beziehen Sie sich auf den ID-Teil des Wortwörterbuchs, der im vorherigen Abschnitt erstellt wurde, und konvertieren Sie den Sprachdatensatz "wakatiO" in ein neues Array namens "wakatiO_n" mit nur numerischen Daten.

-Der Code lautet wie folgt.

・ Dieser Code ist leicht zu verstehen, wenn Sie ihn von hinten betrachten. Erstens gibt der Teil __ "für Waka in Wakati O" __ an, dass jede Wortliste (durch einen Satz getrennt) des Datensatzes "WakatiO" in Waka gespeichert ist. Als nächstes zeigt __ "für Wort in Waka" __ an, dass die Wortliste in jedes Wort unterteilt und im Wort gespeichert ist.

• Und für jedes Wort bezieht sich __ "dic_inv [word]" __ auf die ID des Wörterbuchs und gibt an, dass es in "wakatiO_n" gespeichert ist.

Merkmalsextraktion aus der Wortkontinuität

N-gram -__ N-Gramm__ ist ein Modell, das beim Extrahieren von Themen aus Text verwendet wird und die Methode zum Teilen von __text in N aufeinanderfolgende Zeichen verwendet. ・ Wenn für N Unterteilungen eine Zeichenfolge "aiueo" vorhanden ist, wird N.=1 "1-Für "Gramm" "Ah|ich|U.|e|Unterteilt in "O" und "2-Für "Gramm" "Ahich|ichU.|U.e|eお」と分割される。 ・ Ich habe versucht, Themen aus der "Word-Dokumentmatrix" zu extrahieren, die in "Natural Language Processing 2" angezeigt wurde, aber das ist __ "Wort-Koexistenz (erscheint es im selben Satz)" __ Im Gegensatz dazu steht N-Gramm für __ "Wortkontinuität (in welcher Reihenfolge)" __.

• Da es keine Methode zum Erstellen von N-Gramm gibt, wird die Methode zum Speichern einer Liste von Zeichenfolgen verwendet, die durch iterative Verarbeitung in leere Listen unterteilt sind.

list = []
word = ['Gut','Wetter','ist','Hallo','。']
#3-Erstellen eines Gramm-Modells
for i range(len(word)-2):
    list.append([word[i],word[i+1],word[i+2]])
print(list)
#[['Gut','Wetter','ist']['Wetter','ist','Hallo']['ist','Hallo','。']]

-Für __ "len (Wort) -2" __ geben Sie dieselbe Zahl an, damit "i + 2" darunter die Länge des Wortes nicht überschreitet.

2-Erstellen einer Grammliste

-Für das obige N-Gramm wird durch Erstellen einer 2-Gramm-Liste aus "wakatiO_n" __ die Anzahl der Vorkommen (Gewichte) der beiden Knoten berechnet __.

• Wenden Sie zunächst das 2-Gramm-Modell auf "wakatiO_n" an, um das 2-Gramm-Array "bigramO" zu erstellen. Konvertieren Sie es in __DataFrame __ (df_bigramO), gruppieren Sie es nach "'node1' und 'node2'" (zwei Knoten, die kontinuierliche Werte berechnen) (__groupby () __) und schließlich nach "__sum () __" ] Um die Gesamtzahl der Auftritte zu vervollständigen.

·Code

• __ "as_index = False" __ von group by () gibt an, dass der Schlüssel __ anstelle des Index __ in eine Spalte ausgegeben wird. Mit anderen Worten, wenn nichts angegeben ist, wird der Schlüsselknoten1 als Index ausgegeben, sodass er nicht auf die gleiche Weise wie der Spaltenknoten2 ausgegeben wird. Um dies zu vermeiden, wird es so angegeben.

• Ausgabeergebnis

2-Erstellen Sie ein Gramm-Netzwerk

• In Kapitel 2 wurde ein ungerichteter Graph mit der Ähnlichkeit von Wörtern als Kanten (Gewichte) erstellt. Dieses Mal __ Erstellen Sie ein gerichtetes Diagramm mit der Anzahl der Vorkommen des Wortpaars als Kante (Gewicht) __. Die Daten der Erstellungsquelle sind df_bigramO, die im vorherigen Abschnitt erstellt wurden.
• Ein gerichteter Graph bezieht sich auf einen, der das Konzept der "Richtung" am __ Rand __ hat. In Bezug auf die Anzahl der Vorkommen von Wortpaaren hat der gerichtete Graph auch eine Bedeutung in der Information "in der Reihenfolge des Auftretens", dh "welches Wort kommt zuerst". -Die Erstellungsmethode ist genau die gleiche wie für ungerichtete Diagramme. Geben Sie einfach __ "nx.DiGraph" __ im Argument von __nx.from_pandas_edgelist () __ an.

·Code

・ Ergebnis

2-Gramm-Netzwerkfunktionen

• Ähnlich wie im vorherigen Kapitel ist es schwierig, die Merkmale nur anhand des Diagramms zu verstehen. Berechnen Sie daher __ "durchschnittlicher Clusterkoeffizient" __ und __ "Mediationszentralität" __, um die Merkmale quantitativ zu erfassen. ・ (Überprüfung) Berechnen Sie den durchschnittlichen Clusterkoeffizienten mit __nx.average_clustering () __ und die Mediationszentralität mit __nx.betweenness_centrality () __.

Sehen Sie die Wirkung jedes Wortes

・ Um zu sehen, wie sich die einzelnen Wörter gegenseitig beeinflussen, visualisieren Sie __ "Auftragsverteilung" __. -Im Fall eines gerichteten Graphen wird es in "von anderen Wörtern beeinflusst" __ in der Reihenfolge __ und "in anderen Worten beeinflusst" __ in der Reihenfolge __ unterteilt. -Überprüfen Sie die Eingabereihenfolge mit der Methode __in_degree (weight) __. Es wird in Form von (Knotennummer, Eingabereihenfolge) zurückgegeben.

• Überprüfen Sie in ähnlicher Weise die Ausgabereihenfolge mit der Methode __out_degree (weight) __.

·Code

·Ergebnis

Zusammenfassung

・ Um die Merkmale der __Wortkontinuität __ zu verstehen, schreiben Sie zuerst __ gesprochenen Text __ und erstellen Sie dann ein __Wortwörterbuch __, um __Daten in numerische Werte umzuwandeln. __. -Konvertieren Sie die in numerische Werte konvertierten Daten in eine N-Gramm-Liste, berechnen Sie die Anzahl der Vorkommen jeder Wortkombination __ und erstellen Sie daraus ein gerichtetes Diagramm __. ・ Da es schwierig ist, die Merkmale zu verstehen, wenn der Graph gerichtet bleibt, werden die Merkmale quantitativ erfasst, indem __ "durchschnittlicher Clusterkoeffizient" __ und __ "Vermittlungszentralität" __ berechnet werden.

• Auch quantitative Merkmale können durch __ Auftragsverteilung __ visualisiert werden.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.