[Lass uns mit Python spielen] Ziel ist die automatische Satzgenerierung ~ Morphologische Analyse durchführen ~

Einführung

Es gibt eine Geschichte, in der KI Sätze schrieb, und kürzlich wurde ein Manga hergestellt, der nach dem Erlernen von Tezuka Osamus Manga hergestellt wurde. Ein solches Level ist schwierig, aber ich konnte beim Betrachten des Buches automatisch Sätze generieren, also werde ich es zusammenfassen. Es wird mehrere Male dauern, aber ich denke, ich werde es langsam machen.

Bild, um Sätze zu erzeugen

Beim Generieren eines Satzes sieht das Bild wie folgt aus.

• Bereiten Sie die Originaldaten vor
• Formatieren Sie die Daten ordentlich
• Sätze zusammensetzen
• Mit der Markov-Kette erzeugt

Grob gesagt denke ich, dass es so aussieht. Dieses Mal werde ich versuchen, den Text aufzuschlüsseln.

Versuchen Sie es mit einer morphologischen Analyse

Die morphologische Analyse basiert auf Informationen wie der Grammatik der Zielsprache und dem Teil von Wörtern von Wörtern, die Wörterbücher genannt werden, aus Textdaten (Sätzen) in natürlicher Sprache ohne Anmerkungen zu grammatikalischen Informationen. , Morphem (im Allgemeinen die kleinste Einheit, die in der Sprache eine Bedeutung hat) wird in Spalten unterteilt und der Teil jeder Morphologie wird bestimmt. Quelle: Freie Enzyklopädie "Wikipedia" Es scheint, dass. Schauen Sie sich jetzt den Code und die Ergebnisse an!

from janome.tokenizer import Tokenizer
t = Tokenizer()
t

Wir benutzen diesen "Tokenizer".

text = 'Kongo Dace wurde von Vickers in Großbritannien als Super-Dreadnought-Schlachtschiff gebaut, um die Bautechnologie einzuführen! Erwarte es!'
tokens = t.tokenize(text)#Phrasenanalyse
len(tokens) #Anzahl der Wörter

Geben Sie den Text ein, den Sie nachschlagen und analysieren möchten. (Der Inhalt kommt)

for token in tokens:
    print(token)

Wenn es angezeigt wird, sieht es so aus. Es scheint, dass die richtige Nomenklatur und die charakteristischen Endungen nicht funktionieren. Es scheint, dass solche Schwankungen in Sätzen korrigiert werden müssen. Erstellen Sie schließlich eine Wortliste.

texts = t.tokenize(text, wakati=True)
words_list =[] #Machen Sie eine Wortliste
for text in texts:
    words_list.append(t.tokenize(text, wakati=True))
words_list

Plaudern

Mit "Tokenize" können Sie Sätze leicht zerlegen. Natürlich reicht ein so kurzer Satz nicht für die Satzgenerierung aus, also brauchen wir tatsächlich mehr Wörter. Ich wünschte, ich könnte interessante Sätze machen.