[Python] Maîtrisez la lecture des fichiers csv. Liste des principales options pour pandas.read_csv.

Version avancée de la lecture de fichiers csv avec pandas Notez que vous pouvez faire beaucoup plus que vous ne le pensez, comme spécifier les lignes et les colonnes à lire.

Fondamentalement, c'est OK si vous maintenez autant [Liste des principales options de la méthode read_csv](# 1-Liste des principales options de la méthode read_csv)

> ・ Cliquez ici pour les bases de la lecture de fichiers csv avec python (https://qiita.com/yuta-38/items/8f7a332651cd5a02e986)

・ La page officielle est ici

**table des matières**

[Liste des principales options de la méthode read_csv](# 1-Liste des principales options de la méthode read_csv)
[Données lues par défaut](# 2-Données lues par défaut)
[Lignes / colonnes / cellules vierges du fichier d'origine](# 3-Cellule de matrice vierge du fichier d'origine)
En-tête (# 4-Header)
[Charger le fichier sans en-tête](#Lire le fichier sans en-tête)
[Spécifiez la ligne qui sera l'en-tête](#Spécifiez la ligne qui sera l'en-tête)
[Spécifiez le nom de l'en-tête](# Spécifiez le nom de l'en-tête à lire)
[Spécifiez un préfixe commun pour le nom de l'en-tête](#Spécifiez un préfixe commun pour le nom de l'en-tête)
[Spécifiez la colonne d'en-tête (index)](# 5-Spécifiez l'index de la colonne d'en-tête)
[Lire la colonne](# 6-Lire la colonne)
[Spécifier par numéro de colonne](#Spécifier par numéro de colonne)
[Spécifier par nom de colonne](#Spécifier par nom de colonne)
Lire la ligne (# 7-Read Line)
[Spécifiez le nombre de lignes à lire depuis le début](#Spécifiez le nombre de lignes à lire depuis le début)
[Spécifiez le nombre de lignes à exclure depuis le début](#Spécifiez le nombre de lignes à exclure depuis le début)
[Exclure la ligne spécifiée](#Exclure la ligne spécifiée)
[Spécifiez le nombre de lignes à exclure de la fin](# Spécifiez le nombre de lignes à exclure de la fin)
[Lire en spécifiant le type](# 8-Lire en spécifiant le type)
[Lire des fichiers sur le Web](# 9-Lire des fichiers sur le Web)
[Lire le fichier compressé](# 10-Lire le fichier compressé)
[Lire en spécifiant un délimiteur](# 11-Lire en spécifiant un délimiteur)

## 1. Liste des principales options de la méthode read_csv

option	Exemple d'utilisation	Contenu
sep	sep=';'	Séparé
delimiter	delimiter=';'	Divisé(Identique à sep)
header	header=1	Spécifiez la ligne d'en-tête (la valeur par défaut est deviner, sinon l'en-tête=Aucun * "N" est une majuscule)
names	①names=['AA','BB','CC',,]　　②names='1234567'	Donnez un titre de colonne (ou "en-tête" s'il y a un en-tête=En combinaison avec "0")
index_col	index_col=0	En-tête de ligne(index)Spécifiez la colonne qui devient
usecols	usecols=[1,2,5]	Spécifiez la ligne à lire. Spécifiez une seule ligne au format liste "usecols=[0].. Peut également être spécifié dans le titre de la colonne "
prefix	prefix="numéro de ligne", header=None	Spécifiez le préfixe du titre de la ligne. Exemple "prefix"='numéro de ligne'」ならnuméro de ligne0、numéro de ligne1、、、となる。 hedar=Valide uniquement lorsque Aucun est spécifié.
dtype	dtype=str	Lisez en spécifiant le type. S'il ne peut pas être appliqué, une erreur (comme la lecture de str avec float)
skiprows	①skiprows=5　　②skiprows=[1,3,6]	Spécifiez le numéro de ligne à ne pas lire au début. Pour les entiers, de 0 à l'entier spécifié.
skipfooter	skipfooter=2, engine='python', encoding='utf_8'	Spécifiez le nombre de lignes à exclure du bas. Besoin de décrire ce qu'il faut utiliser en python. Si les caractères sont déformés, spécifiez le code de caractère.
nrows	nrows=5	Spécifiez le nombre de lignes à lire.
encoding	encoding='shift_jis'	Spécification du code de caractère lors de la lecture d'un fichier
(compression)	compression='zip'	Ouvrez le fichier compressé. Actuellement, il s'ouvre par analogie sans description. (Inversement, la compression sur le fichier zip='gzip'Erreur si vous spécifiez
(skipinitialspace)	skipinitialspace=True	délimiteur(Délimiteur de caractères)Plus tard, supprimez le blanc de début. Actuellement, il semble être supprimé par défaut

## 2. Données lues par défaut

■ Fichier original

Lorsque le fichier csv suivant est lu

** ▼ colonne ** ・ La colonne A est l'index (en-tête) ・ La colonne F est vide ・ La colonne G est un caractère et une cellule vide

** ▼ ligne ** ・ La première ligne est le titre de la colonne ・ La 9ème ligne est vide ・ Il y a une erreur de formule (#NOMBRE!) Sur la 10e ligne.

#### ■ Résultat de lecture

** ▼ Point ** ・ ** Colonne d'en-tête ajoutée à la première colonne ** (numéro d'index de 0) ・ ** Ligne de titre ajoutée à la première ligne **

Les cellules vides sont ** complétées par "Sans nom: numéro de colonne" **
** Les cellules vierges deviennent NaN **. -L'erreur de formule est affichée sous la forme #NOMBRE!.

Le contenu supplémentaire restera lorsque vous sortez à nouveau dans un fichier. (NaN disparaît)

### ■ Attributs de chaque colonne

`Attributs de colonne`


Unnamed: 0     object
Objet de la colonne 1
Colonne 2 float64
Objet de la colonne 3
Colonne 4 float64
Unnamed: 5     float64
Objet de la colonne 5

-Date: type d'objet ・ Valeur numérique: type float64 └ Entier et minoritaire └ NaN est ignoré -Colonne avec erreur de fonction: type d'objet ・ Colonne vide: type float64 -Texte: type d'objet └ S'il y a une cellule de texte, ce sera un type d'objet

### ■ Résultat de lecture de sortie

Lors de la sortie sous forme de fichier csv avec utf8.

-Les têtes automatiquement insérées dans la 1ère ligne et la 1ère colonne restent. ・ NaN devient une ligne vierge

## 3. Lignes / colonnes / cellules vides du fichier d'origine

Les blancs sont traités comme "NaN" (données vides). Ce qui suit est également traité comme NaN.

「''」
「＃N/A」
「＃N/A N/A」
「＃NA」
「-1.＃IND」
「-1.＃QNAN」
「-NaN」
「-nan」
「1.＃IND」
「1.＃QNAN」
「」
「N/A」
「NA」
「NULL」
「NaN」
「n/a」
「nan」
「null」

## 4. En-tête

La valeur par défaut lors de la lecture est "par analogie".

Fondamentalement, la ligne du haut est lue comme un en-tête.

▼ Fichier original

▼ Résultat de lecture

`Lire le fichier csv`


import pandas as pd

df = pd.read_csv('~/desktop/test.csv')
df

└ Lisez et affichez le fichier test.csv sur le bureau.

### ① Lire un fichier sans en-tête Spécifiez éventuellement qu'il n'y a pas d'en-tête. `header=None`

** ▼ Fichier d'origine ** (disons "desktop test2.csv")

** ▼ Lire le fichier ** pd.read_csv('~/desktop/test2.csv' ,header=None)

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test2.csv' ,header=None)
df

Aucun N est une lettre majuscule. (Aucun n'est une erreur)

** ▼ Si non spécifié ** `df2 = pd.read_csv('~/desktop/test2.csv')` ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/fb3d7fa6-e1cc-8afc-cca6-d1a49ab21179.png)
### ② Spécifiez la ligne qui sera l'en-tête * Au-dessus de la ligne spécifiée n'est pas lu.

** ▼ Lorsqu'une ligne comme en-tête est spécifiée **

Facultatif header = integer

import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,header=6)
df

** ▼ Si non spécifié ** ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/73ce0f60-b776-d8f6-9b71-7f38cd2f7874.png)
### ③ Lire en spécifiant le nom de l'en-tête Décrivez `names =` comme une option. Il y a deux manières d'écrire.

(1) Chaînes de caractères consécutives (2) format de liste

** ▼ Point ** -Si vous avez déjà un en-tête, écrasez-le par header = 0. -Lorsque le nombre de caractères spécifié est inférieur au nombre de colonnes à lire: Le titre de l'autre colonne est vide -Si le nombre de caractères spécifié est plus grand: le titre de la dernière colonne est NaN -Différentes colonnes ne peuvent pas avoir le même nom (erreur)

### ■ Exemple (essayez le résultat de l'exécution avec 7 colonnes de données)

(1) Spécifier par chaîne de caractères continue

** ▼ Exemple 1: lorsque names = '123345' **

import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names='12345')
df

Les deux premières colonnes manquantes sont vides.

** ▼ Exemple 2: Quand `names = 'abcdefghi'` **

import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names='abcdefghi')
df

De nombreux titres de colonnes sont des colonnes vides (NaN).

** ▼ Exemple 3: `names = 'aaabbbccc'` Erreur en cas de duplication **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names='aaabbbccc')
df

#production
#　ValueError: Duplicate names are not allowed.

#### (2) Spécifiez sous forme de liste

** ▼ Exemple 1: Lorsque names = ['aaa', 'bbb', 'ccc', 'ddd', 'eee', 'fff'] **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names=['aaa','bbb','ccc','ddd','eee','fff'])
df

** ▼ Exemple 2: `names = ['aaa', 'bbb', 'aaa', 'ddd']` Duplicate is an error **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names=['aaa','bbb','aaa','ddd'])
df

### Spécifiez un préfixe commun pour le nom de l'en-tête `prefix = 'chaîne de caractères', en-tête = Aucun` └ Valide uniquement lorsque header = None (ignoré sinon) └ Un numéro de colonne est ajouté à la chaîne de caractères spécifiée. 　

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', prefix="XXX", header=None)
df

## 5. Spécification de la colonne d'en-tête (index) Décrivez ʻindex_col = integer` dans l'option. Par défaut, les colonnes avec des numéros d'index sont ajoutées automatiquement.
```python import pandas as pd df = pd.read_csv('~/desktop/test.csv' ,index_col=0) df ```

Par défaut (non spécifié) ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/c24e0186-6c71-e4b8-9b26-81fbeaa279f7.png)
## 6. Lire les colonnes Peut être spécifié par numéro de colonne ou nom de colonne.

① Précisez par numéro de colonne ② Spécifiez par nom de colonne

▼ Utilisez ce qui suit pour le fichier d'origine ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/3046793e-146a-441a-8c88-938a8f3d9f14.png)

import pandas as pd
df = pd.read_csv('~/desktop/test.csv')
df

### ① Précisez par numéro de colonne Décrivez ʻusecols = [] `dans l'option └ Type de liste └ Décrit dans [] même si la spécification est une colonne

`Spécifiez plusieurs colonnes`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=[0,3,6])
df

** ▼ Pour 1 colonne (par exemple, 0ème colonne uniquement) ** usecols=[0]

`Spécifiez une seule colonne (Exemple: 0ème colonne uniquement)`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=[0])
df

** ▼ Erreur si ce n'est pas le type de liste **

`Erreur`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=0)
df

#production
# ValueError: 'usecols' must either be list-like of all strings, all unicode, all integers or a callable.

### ② Spécifiez par nom de colonne

Il est également possible d'extraire uniquement le nom de colonne spécifié.

▼ Exemple: ʻusecols = ['colonne 1', 'colonne 4'] ` └ Spécifiez la colonne 1 et la colonne 4.

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=['Colonne 1','Colonne 4'])
df

▼ Il est également possible de donner un nom de colonne lors de la lecture et d'extraire par ce nom.

Exemple: ・ En-tête = 0 ・ Noms = 'ABCDEFG' ・ ʻUscols = ['A', 'C'] `

import pandas as pd
df = pd.read_csv('~/desktop/test.csv', header=0, names='ABCDEFG' ,usecols=['A','C'])
df

## 7. Lire la ligne

① Spécifiez le nombre de lignes à lire depuis le début (2) Spécifiez le nombre de lignes à exclure depuis le début ③ Exclure la ligne spécifiée ④ Spécifiez le nombre de lignes à exclure de la fin

### ① Spécifiez le nombre de lignes à lire depuis le début Décrivez ʻusecols = integer` dans l'option. Utile lors de la vérification du contenu lorsque le nombre de lignes est énorme.
▼ Exemple: `nrows = 3` Lisez du haut vers la troisième ligne.

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', nrows=3)
df

### (2) Spécifiez le nombre de lignes à exclure depuis le début Décrivez `skiprows = integer` dans l'option.

▼ Exemple: skiprows = 6 Passez à la 6ème ligne à partir du haut. Si aucun en-tête n'est spécifié, la 6ème ligne sera l'en-tête.

Il n'y a pas de saut pour "skiprows = 0".

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skiprows=6)
df

### ③ Exclure la ligne spécifiée Décrivez `skiprows = [integer]` dans l'option.

▼ Exemple: skiprows = [2,3,6,7,8] Passer les 2ème, 3ème, 5ème, 7ème et 8ème lignes à partir du haut.

Utilisez [] pour sauter une seule ligne └ "skip worw = [6]": sauter la 6ème ligne

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skiprows=[2,3,6,7,8])
df

### ④ Spécifiez le nombre de lignes à exclure de la fin Décrivez `skipfooter = integer, engine = 'python'` dans les options.

Si les caractères sont déformés, spécifiez le code de caractère. Exemple: ʻencoding = 'utf_8'`

▼ Exemple: skipfooter = 6, engine = 'python', encoding = 'utf_8' Passer la 6ème ligne à partir du bas.

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skipfooter=6, engine='python', encoding='utf_8')
df

▼ Lorsqu'aucun code de caractère n'est spécifié `skipfooter=6, engine='python'`　

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skipfooter=6, engine='python')
df

Le japonais est brouillé.

▼ Lorsque python n'est pas spécifié `skipfooter=6`　

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skipfooter=6)
df

#production
# <ipython-input-81-77b6fdc5c66e>:2: ParserWarning: Falling back to the 'python' engine 
#because the 'c' engine does not support skipfooter; 
#you can avoid this warning by specifying engine='python'.

Une erreur s'affiche. Instructions pour décrire "engine = 'python'".

## 8. Spécifiez le type et lisez Décrivez `dtype = type` comme option. S'il ne peut pas être modifié, une erreur se produira.

Il existe une méthode "dtypes" pour voir les types de la table de lecture. ** Dépend du pluriel ou du singulier **.

▼ Convertissez en une chaîne de caractères avec dtype = str et vérifiez le type avec .dtypes (méthode dtypes).

`Convertir en chaîne`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', dtype=str)

df.dtypes

#production
Unnamed: 0    object
Objet de la colonne 1
Objet de la colonne 2
Objet de la colonne 3
Objet de la colonne 4
Unnamed: 5    object
Objet de la colonne 5
dtype: object

▼ Par défaut

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv')

df.dtypes

#production
Unnamed: 0     object
Objet de la colonne 1
Colonne 2 float64
Objet de la colonne 3
Colonne 4 float64
Unnamed: 5     float64
Objet de la colonne 5
dtype: object

▼ Convertir la chaîne de caractères en flottant (erreur)

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,dtype=float)
df.dtypes

#production
# ValueError: could not convert string to float

## 9. Lire des fichiers sur le WEB Il est également possible de lire des fichiers sur le WEB.

pd.read_csv ('URL', encoding = 'code de caractère')

Si les caractères sont déformés ou si vous obtenez une erreur indiquant que le code de caractère est différent, spécifiez "encoding = 'character code'".

** ▼ Lire les données statistiques de la population du gouvernement par préfecture et par sexe ** ・ Page de référence: e-Start

`python`


import pandas as pd

dfurl = pd.read_csv('https://www.e-stat.go.jp/stat-search/file-download?statInfId=000031524010&fileKind=1', encoding='shift_jis')
dfurl

### ▼ Si aucun code de caractère n'est spécifié (une erreur se produira)

`Erreur`


import pandas as pd

dfurl = pd.read_csv('https://www.e-stat.go.jp/stat-search/file-download?statInfId=000031524010&fileKind=1')
dfurl

#production
# UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 0: invalid start byte

## 10. Lire le fichier compressé Les fichiers compressés tels que zip peuvent être lus sans rien spécifier. Formats de compression lisibles: «gzip», «bz2», «zip», «xz»

Parce qu'il lit le format compressé par analogie. └ Par défaut: compression = infer

Si plusieurs fichiers sont compressés, ils ne peuvent pas être lus.
Ne peut pas être lu lorsque PW est défini.

** ▼ Lisez test.zip, un fichier zip sur le bureau **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.zip')
df

■ Ce qui précède est identique à «compression = 'zip».

import pandas as pd
df = pd.read_csv('~/desktop/test.zip', compression='zip')
df

▼ Une erreur se produit si le format de compression n'est pas spécifié correctement.

`Erreur`


import pandas as pd
df = pd.read_csv('~/desktop/test.zip', compression='gzip')
df

#production
# BadGzipFile: Not a gzipped file (b'PK')

▼ Erreur même si deux fichiers ou plus sont compressés

`Erreur`


import pandas as pd
df = pd.read_csv('~/desktop/2files.zip')
df

#production
# ValueError: Multiple files found in compressed zip file ['test.csv', 'space.csv']

▼ Erreur même si deux fichiers ou plus sont compressés

`Erreur`


import pandas as pd
df = pd.read_csv('~/desktop/2files.zip')
df

#production
# ValueError: Multiple files found in compressed zip file ['test.csv', 'space.csv']

▼ Erreur même si PW est défini

`Erreur`


import pandas as pd
df = pd.read_csv('~/desktop/test.zip')
df

#production
# RuntimeError: File 'test.csv' is encrypted, password required for extraction

## 11. Lire en spécifiant un délimiteur `sep = 'séparateur'` └ Il en va de même pour "delimiter = 'separator'".

** ▼ Exemple: fichier à lire ** Il y a plusieurs données dans une cellule. └ Données séparées par "@" └ Données séparées par ";"

2 caractères ne peuvent pas être spécifiés (la liste ne peut pas être utilisée)
La même option ne peut pas être répétée
Le séparateur et sep ne peuvent pas être utilisés ensemble. └ le délimiteur a la priorité.

** ▼ Chargement par défaut **

`python`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv')
df

** ▼ `sep = '@'` ** Séparé par "@"

`「@Séparé par "(sep)`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep='@')
df

** ▼ delimita = '@' ** Séparé par "@"

`「@(Délimiteur)`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', delimiter='@')
df

** ▼ `sep = ';'` ** Séparé par ";"

`「;Séparé par "(sep)`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep=';')
df

** ▼ Les options ne peuvent pas être répétées. ** **

`Erreur`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep=';', sep='@')
df

#production
# SyntaxError: keyword argument repeated

** ▼ 2 caractères ne peuvent pas être spécifiés (la liste ne peut pas être utilisée) **

`Erreur`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep=[';','@'])
df

#production
# TypeError: unhashable type: 'list'

** Le délimiteur ▼ 2 et sep ne peuvent pas être utilisés ensemble. ** ** └ La priorité est donnée au délimiteur.

[Retour en haut](Liste des principales options de pandas read_csv pour lire le fichier #pythoncsv maître)