[PYTHON] [WIP] Pré-traitement des notes dans le traitement du langage naturel

Cet article est un rappel / mémo lors de la lecture de Prétraitement en langage naturel.

Remplacement numérique

Les valeurs numériques sont également normalisées de sorte que 99 et 1,235 soient mis à 0. Certes, il semble que cela n'a rien à voir avec ce que vous voulez analyser avec le traitement du langage naturel.

Arrêter la suppression des mots

Ce n'est pas limité à cela, mais ce serait bien d'avoir un exemple de code. En outre, la façon de choisir un mot d'arrêt est juste pour examen en fonction du sens et de la fréquence.

Comparaison avec et sans prétraitement

La différence de temps d'exécution est importante. N'est-ce pas plus important que la précision?

Recommended Posts

[WIP] Pré-traitement des notes dans le traitement du langage naturel
Vérification des performances du prétraitement des données dans le traitement du langage naturel
Mémo de produits pratique autour du traitement du langage naturel
Python: traitement du langage naturel
RNN_LSTM2 Traitement du langage naturel
Python: apprentissage profond du traitement du langage naturel: principes de base
Insoutenable manque d'attention dans le traitement du langage naturel
Essayez le livre "Introduction au développement d'applications de traitement du langage naturel en 15 étapes" - Chapitre 2 Étape 02 Mémo "Prétraitement"
Modèle utilisant un réseau neuronal convolutif dans le traitement du langage naturel
Traitement du langage naturel 1 Analyse morphologique
Traitement du langage naturel 3 Continuité des mots
Vue d'ensemble du traitement du langage naturel et de son prétraitement des données
Traitement du langage naturel 2 similitude de mots
■ [Google Colaboratory] Prétraitement du traitement du langage naturel et janome
100 traitements du langage naturel frappent le chapitre 4 Commentaire
100 Language Processing Knock Chapitre 1 en Python
Logivan du langage artificiel et traitement du langage naturel (traitement du langage artificiel)
Se préparer à démarrer le traitement du langage naturel
Résumé de l'installation de l'analyseur de traitement du langage naturel
Dockerfile avec les bibliothèques nécessaires pour le traitement du langage naturel avec python
Essayez le livre «Introduction au développement d'applications de traitement du langage naturel en 15 étapes» - Chapitre 2 Étape 06 Mémo «Identifiant»
Essayez le livre «Introduction au développement d'applications de traitement du langage naturel en 15 étapes» - Chapitre 2 Étape 07 Mémo «Évaluation»
Traiter le nom de la carte Yugioh en langage naturel --Yugiou Data Science 2. PNL
100 Knocking Natural Language Processing Chapitre 1 (Mouvement préparatoire)
3. Traitement du langage naturel par Python 1-1. Word N-gram
J'ai essayé le traitement du langage naturel avec des transformateurs.
Vous devenez ingénieur en 100 jours ――Jour 66 ――Programmation ――À propos du traitement du langage naturel
Essayez le livre «Introduction au développement d'applications de traitement du langage naturel en 15 étapes» --Chapitre 2 Étape 04 Mémo «Extraction de fonctionnalités»
Essayez le livre "Introduction au développement d'applications de traitement du langage naturel en 15 étapes" - Chapitre 4 Étape 15 Mémo "Collecte de données"
Essayez le livre «Introduction au développement d'applications de traitement du langage naturel en 15 étapes» - Chapitre 3 Étape 08 Mémo «Introduction aux réseaux de neurones»
Essayez le livre "Introduction au développement d'applications de traitement du langage naturel en 15 étapes" - Chapitre 3 Étape 11 Mémo "Embeddings de mots"
100 traitements linguistiques frappent 03 ~ 05
100 coups de traitement linguistique (2020): 40
3. Traitement du langage naturel par Python 2-2. Réseau de co-occurrence [mecab-ipadic-NEologd]
100 coups de traitement linguistique (2020): 35
100 coups de traitement linguistique (2020): 47
100 coups de traitement linguistique (2020): 39
100 coups de traitement linguistique (2020): 22
100 coups de traitement linguistique (2020): 26
100 coups de traitement linguistique (2020): 34
100 coups de traitement linguistique (2020): 28
100 coups de traitement linguistique (2020): 42
[Python] [Traitement du langage naturel] J'ai essayé le Deep Learning ❷ fait de toutes pièces en japonais ①
100 coups de traitement linguistique (2020): 29
100 coups de traitement linguistique (2020): 49
Le traitement de 100 langues frappe 06 ~ 09
100 coups de traitement linguistique (2020): 43
100 coups de traitement linguistique (2020): 24
Essayez le livre "Introduction au développement d'applications de traitement du langage naturel en 15 étapes" --Chapitre 3 Étape 12 Mémo "Réseaux de neurones convolutifs"
[Python] J'ai joué avec le traitement du langage naturel ~ transformers ~
Essayez le livre «Introduction au développement d'applications de traitement du langage naturel en 15 étapes» --Chapitre 3 Étape 13 Mémo «Réseaux de neurones récurrents»
100 coups de traitement linguistique (2020): 45
100 coups de traitement linguistique (2020): 10-19
100 coups de traitement linguistique (2020): 30
100 coups de traitement linguistique (2020): 00-09
100 coups de traitement linguistique (2020): 31
Python: Apprentissage en profondeur dans le traitement du langage naturel: Implémentation d'un système de sélection de phrases de réponses
100 coups de traitement linguistique (2020): 38
100 coups de traitement linguistique (2020): 48
100 traitements du langage frappent l'analyse morphologique apprise au chapitre 4
100 coups de traitement linguistique (2020): 44