3. Verarbeitung natürlicher Sprache durch Python 2-1. Netzwerk für das gleichzeitige Auftreten

⑹ Generierung von Co-Auftrittsdaten

• Co-Auftrittsdaten sind ein Objekt vom Typ eines Wörterbuchs, das aus Wortpaaren für das gleichzeitige Auftreten und der Häufigkeit des Auftretens besteht.

import itertools
from collections import Counter

• itertools: Ein Modul, das Iteratorfunktionen für eine effiziente Schleifenverarbeitung sammelt.
• Counter: Ein Modul zum Zählen der Anzahl der Vorkommen jedes Elements

#Generieren Sie eine satzbasierte Nomenklaturpaarliste
pair_list = [
             list(itertools.combinations(n, 2))
             for n in noun_list if len(noun_list) >=2
             ]

#Abflachen der Nasenpaarliste
all_pairs = []
for u in pair_list:
    all_pairs.extend(u)

#Zählen Sie die Häufigkeit von Substantivpaaren
cnt_pairs = Counter(all_pairs)

• Extrahieren Sie nacheinander zwei oder mehr Wörter aus der satzbasierten Nomenklaturliste, generieren Sie eine Kombination aus zwei Wörtern mit "itertools.combinations ()", listen Sie sie mit "list ()" auf und speichern Sie sie in "pair_list".
• Da pair_list jedoch eine Satzeinheit ist, kann sie nicht so gezählt werden, wie sie ist. Reduzieren Sie es daher, indem Sie es der neu vorbereiteten Variablen "all_pairs" nacheinander mit "verlängern ()" hinzufügen.
• Übergeben Sie dies an Counter (), um ** Wörterbuch-Co-Auftrittsdaten ** cnt_pairs zu generieren.

** 3. Zeichnungsdaten erstellen **

import pandas as pd
import numpy as np

⑺ Eingrenzen von Daten zum gleichzeitigen Auftreten

• Grenzen Sie die Elemente ein, um das Erscheinungsbild beim Zeichnen zu vereinfachen. Hier erstellen wir eine Liste der Top-50-Sets nach Erscheinungshäufigkeit.

tops = sorted(
    cnt_pairs.items(), 
    key=lambda x: x[1], reverse=True
    )[:50]

• Die Syntax ist eine Kombination aus den Ausdrücken "sortiert ()" und "Lambda" und sortiert Objekte vom Typ Wörterbuch basierend auf den unter "Schlüssel = Lambda" angegebenen Elementen.
• Die Referenz "x [1]" extrahiert die oberen 50 Paare aus dem zweiten Element, dh der umgekehrten Sortierung nach der Frequenz "reverse = True".

⑻ Erzeugung gewichteter Daten

noun_1 = []
noun_2 = []
frequency = []

#Erstellen eines Datenrahmens
for n,f in tops:
    noun_1.append(n[0])    
    noun_2.append(n[1])
    frequency.append(f)

df = pd.DataFrame({'Die obige Nomenklatur': noun_1, 'Spätere Nomenklatur': noun_2, 'Häufigkeit des Auftretens': frequency})

#Gewichtete Daten einstellen
weighted_edges = np.array(df)

• Konvertierte die Top 50 Sätze von Co-Auftrittsdaten in ein Array, um "weighted_edges" (gewichtete Daten) zu erstellen.
• Unten ist der Datenrahmen vor der Konvertierung in ein Array.

** 4. Zeichnen eines Netzwerkdiagramms **

⑼ Import der Visualisierungsbibliothek

import matplotlib.pyplot as plt
import networkx as nx
%matplotlib inline 

• ** networkX ** ist ein Paket zum Erstellen und Bearbeiten komplexer Netzwerke und Diagrammstrukturen in Python.
• Im Netzwerkdiagramm werden die Scheitelpunkte als ** Knoten ** und die Kanten, die die Scheitelpunkte verbinden, als ** Kanten ** bezeichnet.
• Um die Knotenbezeichnung auf Japanisch anzuzeigen, muss die folgende japanize_matplotlib importiert und anschließend die japanische Schriftart angegeben werden.

#Ein Modul, das matplotlib mit dem japanischen Display kompatibel macht
!pip install japanize-matplotlib
import japanize_matplotlib

⑽ Visualisierung mit NetworkX

• Das Verfahren zum Zeichnen eines Netzwerkdiagramms mit networkX besteht aus drei Schritten: ➀ Erstellen eines Objekts mit einer Diagrammstruktur, ➁ Laden von Daten und ➂ Festlegen von Spezifikationen wie Knoten und Kanten auf matplotlib und Zeichnen.
• Es scheint verwirrend zu sein, aber font_family =" IPAexGothic " ist der Schlüssel, und durch Angabe von ** font_family mit einer japanischen Schriftart ** wird die Knotenbezeichnung mit der japanischen Anzeige kompatibel gemacht.

#Diagrammobjekt generieren
G = nx.Graph()

#Gewichtete Daten lesen
G.add_weighted_edges_from(weighted_edges)

#Zeichnen eines Netzwerkdiagramms
plt.figure(figsize=(10,10))
nx.draw_networkx(G,
                 node_shape = "s",
                 node_color = "c", 
                 node_size = 500,
                 edge_color = "gray", 
                 font_family = "IPAexGothic") #Schriftartspezifikation

plt.show()

• Um den Mechanismus der gleichzeitigen Netzwerkanalyse als einen großen Fluss zu erfassen, werden Details wie das Setzen von Stoppwörtern (auszuschließende Wörter) und die Verarbeitung zusammengesetzter Wörter (z. B. "Individualismus" anstelle von "Individuum" und "Prinzip") usw. Ich schloss die Augen.
• Außerdem habe ich es der Einfachheit halber in die folgenden vier Arbeitsschritte unterteilt. Es gibt vier Schritte: ➀ Vorbereitung der Textdaten, creation Erstellung von Daten für das gleichzeitige Auftreten, ➂ Erstellung von Zeichnungsdaten und drawing Zeichnen von Netzwerkdiagrammen. Im Allgemeinen denke ich jedoch, dass es in drei Schritten verstanden wird: ➊ Vorverarbeitung, ➋ Analyse und ➌ Visualisierung.
• Besonders ➊ Ich denke, die Vorverarbeitung ist das Herzstück der Verarbeitung natürlicher Sprache. Eigentlich kann es als Teil von ➋ in das Skript aufgenommen werden, aber kurz gesagt, es geht darum, "wie man die notwendigen Wörter aus den Rohdaten extrahiert". Welche Art von Analyse und welche Kriterien sollten verwendet werden, um Wörter zu extrahieren? Es wird direkt in den Analyseergebnissen angezeigt, was sich auf die Interpretation auswirkt. Es ist die Arbeitseinheit, die am meisten Rücksicht nimmt und Zeit und Energie benötigt.