[PYTHON] Comment lire l'ensemble de données SNLI

Qu'est-ce que SNLI

--Inférence de langage naturel standard [^ 1]

Text Judgments Hypothesis
A man inspects the uniform of a figure in some East Asian country. contradiction The man is sleeping
An older and younger man smiling. neutral Two men are smiling and laughing at the cats playing on the floor.
A black race car starts up in front of a crowd of people. contradiction A man is driving down a lonely road.
A soccer game with multiple males playing. entailment Some men are playing a sport.
A smiling costumed woman is holding an umbrella. neutral A happy woman in a fairy costume holds an umbrella.

--Nombre de données: 570 000 au total

--Il existe également des données d'analyse syntaxique au format suivant.

{
	"annotator_labels": ["neutral"], 
	"captionID": "3416050480.jpg#4", 
	"gold_label": "neutral", 
	"pairID": "3416050480.jpg#4r1n", 
	"sentence1": "A person on a horse jumps over a broken down airplane.",
	"sentence1_binary_parse": "( ( ( A person ) ( on ( a horse ) ) ) ( ( jumps ( over ( a ( broken ( down airplane ) ) ) ) ) . ) )",
	"sentence1_parse": "(ROOT (S (NP (NP (DT A) (NN person)) (PP (IN on) (NP (DT a) (NN horse)))) (VP (VBZ jumps) (PP (IN over) (NP (DT a) (JJ broken) (JJ down) (NN airplane)))) (. .)))", 
	"sentence2": "A person is training his horse for a competition.", 
	"sentence2_binary_parse": "( ( A person ) ( ( is ( ( training ( his horse ) ) ( for ( a competition ) ) ) ) . ) )", 
	"sentence2_parse": "(ROOT (S (NP (DT A) (NN person)) (VP (VBZ is) (VP (VBG training) (NP (PRP$ his) (NN horse)) (PP (IN for) (NP (DT a) (NN competition))))) (. .)))"
}

Télécharger

Vous pouvez le télécharger depuis The Stanford Natural Language Inference (SNLI) Corpus.

wget https://nlp.stanford.edu/projects/snli/snli_1.0.zip
unzip snli_1.0.zip

Lire les données

Les données sont stockées au format json (.jsonl) et tsv (.txt).

import pandas as pd
df = pd.read_csv("snli_1.0/snli_1.0_train.txt", sep="\t")

References

Recommended Posts

Comment lire l'ensemble de données SNLI
Comment lire JSON
Comment utiliser le générateur
Comment utiliser le décorateur
Comment augmenter l'axe
Comment démarrer la première projection
Lire la source Python-Markdown: Comment créer un analyseur
Comment lire le journal du solveur CBC (Pulp, python-mip)
Comment calculer le coefficient d'autocorrélation
Comment utiliser la fonction zip
Comment utiliser le module optparse
Comment lire les données de la sous-région e-Stat
Comment obtenir la version Python
Comment augmenter le nombre d'images de jeux de données d'apprentissage automatique
Comment écraser la sortie sur la console
Comment utiliser le module ConfigParser
Préparation du chargement du jeu de données d'origine
Comment faire une commande pour lire le fichier de paramètres avec pyramide
Comment afficher la barre de progression (tqdm)
Comment utiliser le pipeline Spark ML
Comment lire pydoc sur l'interpréteur python
Comment vérifier la version de Django
Comment résoudre le problème d'emballage du bac
Comment mettre à jour manuellement le cache AMP
[Colab] Comment copier un vaste ensemble de données
[Linux] Comment utiliser la commande echo
Comment obtenir une sortie colorée sur la console
Comment faire fonctionner Linux depuis la console
Comment accéder à la banque de données de l'extérieur
Comment utiliser le débogueur IPython (ipdb)
Comment lire des fichiers CSV avec Pandas
Comment lire les données de problème avec Paiza
[Reconnaissance d'image] Comment lire le résultat de l'annotation automatique avec VoTT
Comment attribuer plusieurs valeurs à la barre de couleurs Matplotlib
Comment calculer la volatilité d'une marque
Comment lire un fichier CSV avec Python 2/3
Comment trouver la zone du diagramme de Boronoi
Comment utiliser MkDocs pour la première fois
[Python] Comment changer le format de la date (format d'affichage)
[Python] Comment lire des fichiers Excel avec des pandas
[Python] Comment lire les données de CIFAR-10 et CIFAR-100
Comment essayer l'algorithme des amis d'amis avec pyfof
Comment utiliser la bibliothèque de dessins graphiques Bokeh
Comment imprimer des messages de débogage sur la console Django
Comment lire un tableau avec ConfigParser de Python
Comment utiliser l'API Google Cloud Translation
Comment faire fonctionner Linux depuis l'extérieur Procédure
Comment utiliser l'API du guide des programmes NHK
[Algorithm x Python] Comment utiliser la liste
Comment effacer les caractères générés par Python
Comment mesurer la vitesse de la ligne depuis le terminal
Comment obtenir les fichiers dans le dossier [Python]
J'ai lu "Comment créer un laboratoire de piratage"
Comment lire les données de séries chronologiques dans PyTorch
Téléchargez le jeu de données VGG Face2 directement sur le serveur
Tensorufuro, Tensafuro Après tout, lequel (Comment lire Tensorflow)
Comment identifier le numéro d'appel système ausyscall