[PYTHON] Text Mining (für Memo)

Ein Hinweis zum Text Mining.

Teilen Sie eine große Menge von Textdaten durch Verarbeitung in natürlicher Sprache in Wörter und Phrasen ⇒ Bisher war die natürliche Sprache nicht vollständig entwickelt und es war schwierig, sie zu teilen.

Es hat die folgenden drei Funktionen.


Extraktion von Informationen

Entfernt Rauschen aus Textdaten und extrahiert Informationen, die für das Mining erforderlich sind

① Morphologische Analyse

Extrahieren Sie Wörter nach Morphologie mit dem aufgezeichneten Wörterbuch Das Wörterbuch muss von Zeit zu Zeit aktualisiert werden.

② Synonyme

Absorbiert Notationsschwankungen durch Erstellen und Verwenden von Synonymwörterbüchern. Beurteilen Sie beim Betrachten der Daten, ob es sich um ein Synonym handelt. ex) Bewertung ist "hoch" = Bewertung ist "gut" Preis ist "hoch" ≠ Bewertung ist "gut"

③ Wortmuster

Durch Extrahieren der in der Nähe auftretenden morphologischen Elemente werden fragwürdige Formen, negative Formen und Expressionsschwankungen extrahiert. ex) "Bist du da?" = "Bist du da?" ⇒ Verb + Hilfsverb + Symbol

④ Abhängigkeitsanalyse

Die morphologischen Elemente werden in Klauseln gruppiert, und die Hauptprädikaten- und Änderungsbeziehungen zwischen den Klauseln werden beurteilt.


Bergbau

Erhalten Sie neue Informationen und Kenntnisse, die mit den Informationen übereinstimmen, die Sie aus den extrahierten Konzepten erhalten möchten

・ Analyse zwischen Variablen

Berechnen Sie die Relevanz aus dem gleichzeitigen Auftreten von Wörtern

・ Analyse zwischen Proben

Teilen Sie Textdaten in ähnliche Gruppen ein.

・ Keyword-Analyse

Analysieren Sie den Kontext, in dem das Schlüsselwort verwendet wird ⇒ Ist es dem Themenmodell ähnlich? ??

·Multivariate Analyse


Visualisierung der Analyseergebnisse

Hilft, Analyseergebnisse zu verstehen und zu berücksichtigen

Recommended Posts

Text Mining (für Memo)
Text Mining mit Python-Scraping-
Bereiten Sie Beispieldaten für das Text Mining selbst vor
3.6 Textnormalisierung 3.7 Reguläre Ausdrücke zum Tokenisieren von Text
Text Mining mit Python ① Morphologische Analyse
Hinweise zum Erstellen von Textformatierungswerkzeugen
Text Mining mit Python ② Visualisierung mit Word Cloud
Versuchen Sie, Ihr Tagebuch mit Python zu durchsuchen