[PYTHON] Text mining (pour mémo)

Une note sur l'exploration de texte.

Divisez une grande quantité de données textuelles en mots et en phrases par traitement du langage naturel ⇒ Auparavant, le langage naturel n'était pas complètement développé et il était difficile de se diviser.

Il a les trois fonctions suivantes.


Extraction d'informations

Supprime le bruit des données textuelles et extrait les informations nécessaires à l'extraction

① Analyse morphologique

Extraire des mots par morphologie à l'aide du dictionnaire enregistré Le dictionnaire doit être mis à jour de temps à autre.

② Synonymes

Absorbe les fluctuations de notation en créant et en utilisant des dictionnaires de synonymes. Jugez s'il s'agit d'un synonyme en regardant les données. ex) L'évaluation est «élevée» = l'évaluation est «bonne» Le prix est "élevé" ≠ l'évaluation est "bonne"

③ Modèle de mot

En extrayant les éléments morphologiques qui apparaissent à proximité, des formes douteuses, des formes négatives et des fluctuations d'expression sont extraites. ex) "Êtes-vous là?" = "Êtes-vous là?" ⇒ verbe + verbe auxiliaire + symbole

④ Analyse des dépendances

Les éléments morphologiques sont regroupés en clauses, et les principales relations de prédicat et les relations de modification entre les clauses sont jugées.


Exploitation minière

Obtenez de nouvelles informations et connaissances qui correspondent aux informations que vous souhaitez obtenir à partir de l'ensemble des concepts extraits

・ Analyse entre variables

Calculer la pertinence à partir de la cooccurrence de mots

・ Analyse entre échantillons

Divisez les données textuelles en groupes similaires.

・ Analyse des mots-clés

Analyser le contexte dans lequel le mot-clé est utilisé ⇒ Est-ce similaire au modèle thématique? ??

· Analyse multivariée


Visualisation des résultats d'analyse

Aide à comprendre et à considérer les résultats de l'analyse

Recommended Posts

Text mining (pour mémo)
Text mining avec Python-Scraping-
Préparez vous-même des exemples de données pour l'exploration de texte
3.6 Normalisation de texte
Text mining avec Python ① Analyse morphologique
Remarques sur la création d'outils de mise en forme de texte
Text mining avec Python ② Visualisation avec Word Cloud
Essayez de fouiller votre journal avec Python