[PYTHON] 100 langage de traitement knock-70 (en utilisant Stanford NLP): Obtention et formatage des données

Il s'agit du 70e enregistrement de 100 Language Processing Knock 2015. Fondamentalement, c'était presque la même chose que "Traitement du langage amateur 100 coups", donc je ne l'ai pas posté dans le bloc, mais Concernant "Chapter 8: Machine Learning", je l'ai posté parce que j'y ai sérieusement travaillé et que je l'ai changé dans une certaine mesure. Je vais. J'utiliserai principalement Stanford NLP.

Lien de référence

environnement

problème

Chapitre 8: Machine Learning

Dans ce chapitre, [jeu de données de polarité des phrases] de Movie Review Data publié par Bo Pang et Lillian Lee. v1.0](http://www.cs.cornell.edu/people/pabo/movie-review-data/rt-polaritydata.README.1.0.txt) est utilisé pour rendre la phrase positive ou négative. Travaillez sur la tâche (analyse de polarité) à classer comme (négative).

70. Obtention et mise en forme des données

En utilisant Corriger les données de réponse de l'analyse de polarité pour les phrases, corrigez les données de réponse comme suit. Créez (sentiment.txt).

1. Ajoutez la chaîne "+1" au début de chaque ligne dans rt-polarity.pos (étiquette de polarité "+1" suivie d'un espace suivi du contenu de l'instruction positive)
2. Ajoutez la chaîne "-1" au début de chaque ligne dans rt-polarity.neg (étiquette de polarité "-1" suivie d'un espace suivi d'une déclaration négative)
3. Concaténez le contenu de 1 et 2 ci-dessus et triez les lignes au hasard

Après avoir créé> sentiment.txt, vérifiez le nombre d'exemples positifs (phrases positives) et le nombre d'exemples négatifs (phrases négatives).

Précautions pour le fichier à lire

1. Le code de caractère semble être WINDOWS-1252 au lieu de UTF-8 (je ne l'ai pas confirmé correctement, mais "Traitement du langage amateur 100 coups: 70" ) Et la même lecture)
2. Certains textes incluent Umlaut ainsi que l'anglais (caractères comme "Ü")
3. Fondamentalement, tous les caractères sont abaissés

Répondre

Réponse prémisse

La structure des dossiers est la suivante dans le répertoire Jupyter Notebook. Données originales sont décompressées et placées.

└── rt-polaritydata
    ├── rt-polarity.neg
    └── rt-polarity.pos

Programme de réponse [070. Obtention et mise en forme de data.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/08.%E6%A9%9F%E6%A2%B0%E5%AD%A6 % E7% BF% 92 / 070.% E3% 83% 87% E3% 83% BC% E3% 82% BF% E3% 81% AE% E5% 85% A5% E6% 89% 8B% E3% 83% BB% E6% 95% B4% E5% BD% A2.ipynb)

import codecs
import random

FNAME_SMT = 'sentiment.txt'
pos_prefix = '+1'
neg_prefix = '-1'

result = []

def read_file(fname, prefix):
    #Non confirmé s'il peut être lu par la fonction ouverte sans utiliser de codecs()
    with codecs.open(fname, encoding='cp1252') as file:  #L'encodage est Windows-1252
        return ['{0} {1}'.format(prefix, line.strip()) for line in file]

#Lecture positive
result.extend(read_file('./rt-polaritydata/rt-polarity.pos', pos_prefix))

#Lecture négative
result.extend(read_file('./rt-polaritydata/rt-polarity.neg', neg_prefix))

random.shuffle(result)

with open(FNAME_SMT, 'w') as file_out:
    file_out.write('\n'.join(result))

#Vérifiez le numéro
cnt_pos = 0
cnt_neg = 0
with open(FNAME_SMT) as file:
    for line in file:
        if line.startswith(pos_prefix):
            cnt_pos += 1
        elif line.startswith(neg_prefix):
            cnt_neg += 1

print('pos:{}, neg:{}'.format(cnt_pos, cnt_neg))

Répondre au commentaire

C'est essentiellement la lecture et l'écriture de fichiers, donc je n'ai pas fait grand-chose pour le mentionner. J'utilise la bibliothèque codecs pour ouvrir le fichier, mais ce n'est qu'une copie de la partie pertinente de 100 coups de traitement de langue amateur: 70 Par conséquent, je n'ai pas vérifié si cela est possible avec la fonction normale «ouvrir». Cependant, je ne voulais pas utiliser à nouveau la bibliothèque codecs dans les programmes suivants, je l'ai donc sauvegardée en UTF-8. Même ainsi, les caractères contenant Umlaut sont enregistrés correctement.

Une fois exécutée, la dernière fonction print affichera le numéro comme indiqué ci-dessous.

pos:5331, neg:5331