[Python] Beherrsche das Lesen von CSV-Dateien. Liste der Hauptoptionen für pandas.read_csv.

Erweiterte Version zum Lesen von CSV-Dateien mit Pandas Beachten Sie, dass Sie viele Dinge mehr tun können, als Sie denken, z. B. die anzuzeigenden Zeilen und Spalten angeben.

Grundsätzlich ist es in Ordnung, wenn Sie so viel gedrückt halten [Liste der Hauptoptionen für die Methode read_csv](# 1 - Liste der Hauptoptionen für die Methode read_csv)

> ・ Klicken Sie hier, um die Grundlagen zum Lesen von CSV-Dateien mit Python zu erhalten (https://qiita.com/yuta-38/items/8f7a332651cd5a02e986).

・ Die offizielle Seite ist hier

**Inhaltsverzeichnis**

[Liste der Hauptoptionen für die Methode read_csv](# 1 - Liste der Hauptoptionen für die Methode read_csv)
[Standardmäßig gelesene Daten](# 2-Standardmäßig gelesene Daten)
[Leere Zeilen / Spalten / Zellen der Originaldatei](# 3-Leere Matrixzellen der Originaldatei)
Header (# 4-Header)
[Datei ohne Header laden](# Datei ohne Header lesen)
[Geben Sie die Zeile an, die die Kopfzeile sein soll](# Geben Sie die Zeile an, die die Kopfzeile sein soll)
[Headernamen angeben](# Zu lesenden Headernamen angeben)
[Geben Sie ein gemeinsames Präfix für den Headernamen an](# Geben Sie ein gemeinsames Präfix für den Headernamen an)
[Überschriftenspalte (Index) angeben](# 5 - Überschriftenspaltenindex angeben)
[Spalte lesen](# 6-Spalte lesen)
[Nach Spaltennummer angeben](# Nach Spaltennummer angeben)
[Nach Spaltennamen angeben](# Nach Spaltennamen angeben)
Zeile lesen (# 7-Zeile lesen)
[Geben Sie die Anzahl der Zeilen an, die von Anfang an gelesen werden sollen](# Geben Sie die Anzahl der Zeilen an, die von Anfang an gelesen werden sollen.)
[Geben Sie die Anzahl der Zeilen an, die von Anfang an ausgeschlossen werden sollen](# Geben Sie die Anzahl der Zeilen an, die von Anfang an ausgeschlossen werden sollen.)
[Angegebene Zeile ausschließen](# Angegebene Zeile ausschließen)
[Geben Sie die Anzahl der Zeilen an, die vom Ende ausgeschlossen werden sollen](# Geben Sie die Anzahl der Zeilen an, die vom Ende ausgeschlossen werden sollen.)
[Lesen durch Angabe des Typs](# 8-Lesen durch Angabe des Typs)
[Dateien im Web lesen](# 9 - Dateien im Web lesen)
[Komprimierte Datei lesen](# 10 - Komprimierte Datei lesen)
[Lesen durch Angabe eines Trennzeichens](# 11-Lesen durch Angabe eines Trennzeichens)

## 1. Liste der Hauptoptionen der Methode read_csv

Möglichkeit	Anwendungsbeispiel	Inhalt
sep	sep=';'	Trennen
delimiter	delimiter=';'	Teilt(Gleich wie sep)
header	header=1	Geben Sie die Kopfzeile an (Standard ist "Raten", wenn nicht "Kopfzeile")=Keine * "N" ist Kapital)
names	①names=['AA','BB','CC',,]　　②names='1234567'	Geben Sie einen Spaltentitel an (oder "Überschrift", wenn eine Überschrift vorhanden ist=In Kombination mit "0")
index_col	index_col=0	Zeilenüberschrift(index)Geben Sie die Spalte an, die wird
usecols	usecols=[1,2,5]	Geben Sie die zu lesende Zeile an. Geben Sie nur eine Zeile im Listenformat "usecols" an=[0].. Kann auch im Spaltentitel "angegeben werden
prefix	prefix="Zeilennummer", header=None	Geben Sie das Präfix des Zeilentitels an. Beispiel "Präfix"='Zeilennummer'」ならZeilennummer0、Zeilennummer1、、、となる。 hedar=Nur gültig, wenn Keine angegeben ist.
dtype	dtype=str	Lesen Sie durch Angabe des Typs. Wenn es nicht angewendet werden kann, liegt ein Fehler vor (z. B. Lesen von str mit float)
skiprows	①skiprows=5　　②skiprows=[1,3,6]	Geben Sie die Zeilennummer an, die am Anfang nicht gelesen werden soll. Für Ganzzahlen von 0 bis zur angegebenen Ganzzahl.
skipfooter	skipfooter=2, engine='python', encoding='utf_8'	Geben Sie die Anzahl der Zeilen an, die unten ausgeschlossen werden sollen. Müssen beschreiben, was in Python verwendet werden soll. Wenn die Zeichen verstümmelt sind, geben Sie den Zeichencode an.
nrows	nrows=5	Geben Sie die Anzahl der zu lesenden Zeilen an.
encoding	encoding='shift_jis'	Zeichencode-Spezifikation beim Lesen einer Datei
(compression)	compression='zip'	Öffnen Sie die komprimierte Datei. Gegenwärtig öffnet es sich analog ohne Beschreibung. (Umgekehrt Komprimierung der Zip-Datei='gzip'Fehler, wenn Sie angeben
(skipinitialspace)	skipinitialspace=True	Trennzeichen(Zeichenbegrenzer)Entfernen Sie später den führenden Rohling. Derzeit scheint es standardmäßig gelöscht zu sein

## 2. Standardmäßig gelesene Daten

■ Originaldatei

Wenn die folgende CSV-Datei gelesen wird

** ▼ Spalte ** ・ Spalte A ist Index (Überschrift) ・ F-Spalte ist leer ・ Spalte G ist ein Zeichen und eine leere Zelle

** ▼ Linie ** ・ Die erste Zeile ist der Titel der Spalte ・ Die 9. Zeile ist leer ・ In der 10. Zeile liegt ein Formelfehler (#NUM!) Vor.

#### ■ Leseergebnis

** ▼ Punkt ** ・ ** Überschriftenspalte zur ersten Spalte hinzugefügt ** (Indexnummer von 0) ・ ** Titelzeile zur ersten Zeile hinzugefügt **

Leere Zellen werden ** mit "Unbenannt: Spaltennummer" ** vervollständigt
** Leere Zellen werden zu NaN **. -Formelfehler wird als #NUM! Angezeigt.

Zusätzlicher Inhalt bleibt erhalten, wenn Sie erneut in eine Datei ausgeben. (NaN verschwindet)

### ■ Attribute jeder Spalte

`Spaltenattribute`


Unnamed: 0     object
Objekt in Spalte 1
Spalte 2 float64
Objekt in Spalte 3
Spalte 4 float64
Unnamed: 5     float64
Objekt in Spalte 5

-Datum: Objekttyp ・ Numerischer Wert: Typ float64 └ Sowohl Ganzzahl als auch Minderheit └ NaN wird ignoriert -Spalte mit Funktionsfehler: Objekttyp ・ Leere Spalte: Typ float64 -Text: Objekttyp └ Wenn es eine Textzelle gibt, handelt es sich um einen Objekttyp

### ■ Ergebnis des Ausgabelesens

Bei Ausgabe als CSV-Datei mit utf8.

-Köpfe, die automatisch in die 1. Zeile und 1. Spalte eingefügt werden, bleiben erhalten. ・ NaN wird zu einer Leerzeile

## 3. Leere Zeilen / Spalten / Zellen der Originaldatei

Leerzeichen werden als "NaN" (leere Daten) behandelt. Das Folgende wird auch als NaN behandelt.

「''」
「＃N/A」
「＃N/A N/A」
「＃NA」
「-1.＃IND」
「-1.＃QNAN」
「-NaN」
「-nan」
「1.＃IND」
「1.＃QNAN」
「」
「N/A」
「NA」
「NULL」
「NaN」
「n/a」
「nan」
「null」

## 4. Header

Die Standardeinstellung beim Lesen ist "analog".

Grundsätzlich wird die oberste Zeile als Kopfzeile gelesen.

▼ Originaldatei

▼ Leseergebnis

`CSV-Datei lesen`


import pandas as pd

df = pd.read_csv('~/desktop/test.csv')
df

└ Lesen Sie die Datei test.csv und zeigen Sie sie auf dem Desktop an.

### ① Lesen Sie eine Datei ohne Header Geben Sie optional an, dass kein Header vorhanden ist. `header=None`

** ▼ Originaldatei ** (sagen wir "desktop test2.csv")

** ▼ Datei lesen ** pd.read_csv('~/desktop/test2.csv' ,header=None)

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test2.csv' ,header=None)
df

Keine N ist ein Großbuchstabe. (Keine ist ein Fehler)

** ▼ Wenn nicht angegeben ** `df2 = pd.read_csv('~/desktop/test2.csv')` ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/fb3d7fa6-e1cc-8afc-cca6-d1a49ab21179.png)
### ② Geben Sie die Zeile an, die die Überschrift sein soll * Über der angegebenen Zeile wird nicht gelesen.

** ▼ Wenn eine Zeile als Überschrift angegeben wird **

Optional header = integer

import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,header=6)
df

** ▼ Wenn nicht angegeben ** ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/73ce0f60-b776-d8f6-9b71-7f38cd2f7874.png)
### ③ Lesen Sie durch Angabe des Headernamens Beschreiben Sie `names =` als Option. Es gibt zwei Möglichkeiten zu schreiben.

(1) Aufeinanderfolgende Zeichenketten (2) Listenformat

** ▼ Punkt ** -Wenn Sie bereits einen Header haben, überschreiben Sie ihn mit header = 0. -Wenn die Anzahl der angegebenen Zeichen geringer ist als die Anzahl der zu lesenden Spalten: Der Titel der anderen Spalte ist leer -Wenn die Anzahl der angegebenen Zeichen größer ist: Der Titel der letzten Spalte lautet NaN -Differente Spalten können nicht denselben Namen erhalten (Fehler)

### ■ Beispiel (versuchen Sie das Ausführungsergebnis mit 7 Datenspalten)

(1) Durch fortlaufende Zeichenfolge angeben

** ▼ Beispiel 1: Wenn names = '123345' **

import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names='12345')
df

Die ersten beiden fehlenden Spalten sind leer.

** ▼ Beispiel 2: Wenn `names = 'abcdefghi'` **

import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names='abcdefghi')
df

Viele Spaltentitel sind leere (NaN) Spalten.

** ▼ Beispiel 3: `names = 'aaabbbccc'` Fehler bei Duplizierung **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names='aaabbbccc')
df

#Ausgabe
#　ValueError: Duplicate names are not allowed.

#### (2) Im Listenformat angeben

** ▼ Beispiel 1: Wenn names = ['aaa', 'bbb', 'ccc', 'ddd', 'eee', 'fff'] **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names=['aaa','bbb','ccc','ddd','eee','fff'])
df

** ▼ Beispiel 2: `names = ['aaa', 'bbb', 'aaa', 'ddd']` Duplizieren ist ein Fehler **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,names=['aaa','bbb','aaa','ddd'])
df

### Geben Sie ein allgemeines Präfix für den Headernamen an `Präfix = 'Zeichenkette', Header = Keine` └ Nur gültig, wenn Header = Keine (wird ignoriert, wenn nicht) └ Der angegebenen Zeichenfolge wird eine Spaltennummer hinzugefügt. 　

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', prefix="XXX", header=None)
df

## 5. Angabe der Überschriftenspalte (Index) Beschreiben Sie in der Option `index_col = integer`. Standardmäßig werden Spalten mit Indexnummern automatisch hinzugefügt.
```python import pandas as pd df = pd.read_csv('~/desktop/test.csv' ,index_col=0) df ```

Standardmäßig (nicht angegeben) ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/c24e0186-6c71-e4b8-9b26-81fbeaa279f7.png)
## 6. Spalten lesen Kann durch Spaltennummer oder Spaltennamen angegeben werden.

① Geben Sie die Spaltennummer an ② Geben Sie den Spaltennamen an

▼ Verwenden Sie für die Originaldatei Folgendes ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/563526/3046793e-146a-441a-8c88-938a8f3d9f14.png)

import pandas as pd
df = pd.read_csv('~/desktop/test.csv')
df

### ① Geben Sie die Spaltennummer an Beschreiben Sie `usecols = []` in der Option └ Listentyp └ Beschrieben in [], auch wenn die Spezifikation eine Spalte ist

`Geben Sie mehrere Spalten an`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=[0,3,6])
df

** ▼ Für 1 Spalte (zB nur 0. Spalte) ** usecols=[0]

`Geben Sie nur eine Spalte an (Beispiel: Nur 0. Spalte)`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=[0])
df

** ▼ Fehler, wenn nicht Listentyp **

`Error`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=0)
df

#Ausgabe
# ValueError: 'usecols' must either be list-like of all strings, all unicode, all integers or a callable.

### ② Geben Sie den Spaltennamen an

Es ist auch möglich, nur den angegebenen Spaltennamen zu extrahieren.

▼ Beispiel: usecols = ['Spalte 1', 'Spalte 4'] └ Geben Sie Spalte 1 und Spalte 4 an.

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', usecols=['Spalte 1','Spalte 4'])
df

▼ Es ist auch möglich, beim Lesen und Extrahieren einen Spaltennamen anzugeben.

Beispiel: ・ Header = 0 ・ Names = 'ABCDEFG' ・ Usecols = ['A', 'C']

import pandas as pd
df = pd.read_csv('~/desktop/test.csv', header=0, names='ABCDEFG' ,usecols=['A','C'])
df

## 7. Zeile lesen

① Geben Sie die Anzahl der Zeilen an, die von Anfang an gelesen werden sollen (2) Geben Sie die Anzahl der Zeilen an, die von Anfang an ausgeschlossen werden sollen ③ Schließen Sie die angegebene Zeile aus ④ Geben Sie die Anzahl der Zeilen an, die vom Ende ausgeschlossen werden sollen

### ① Geben Sie die Anzahl der Zeilen an, die von Anfang an gelesen werden sollen Beschreiben Sie "usecols = integer" in der Option. Nützlich beim Überprüfen des Inhalts, wenn die Anzahl der Zeilen sehr groß ist.
▼ Beispiel: `nrows = 3` Lesen Sie von oben bis zur dritten Zeile.

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', nrows=3)
df

### (2) Geben Sie die Anzahl der Zeilen an, die von Anfang an ausgeschlossen werden sollen Beschreiben Sie in der Option `skiprows = integer`.

▼ Beispiel: skiprows = 6 Springe von oben zur 6. Zeile. Wenn keine Kopfzeile angegeben ist, ist die 6. Zeile die Kopfzeile.

Es gibt kein Überspringen für "skiprows = 0".

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skiprows=6)
df

### ③ Schließen Sie die angegebene Zeile aus Beschreiben Sie in der Option `skiprows = [integer]`.

▼ Beispiel: skiprows = [2,3,6,7,8] Überspringen Sie die 2., 3., 5., 7. und 8. Zeile von oben.

Verwenden Sie [], um nur eine Zeile zu überspringen └ "Überspringen der Arbeit = [6]": Überspringen Sie die 6. Zeile

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skiprows=[2,3,6,7,8])
df

### ④ Geben Sie die Anzahl der Zeilen an, die vom Ende ausgeschlossen werden sollen Beschreiben Sie in den Optionen "skipfooter = integer, engine =" python ".

Wenn die Zeichen verstümmelt sind, geben Sie den Zeichencode an. Beispiel: encoding = 'utf_8'

▼ Beispiel: skipfooter = 6, engine = 'python', encoding = 'utf_8' Überspringen Sie die 6. Zeile von unten.

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skipfooter=6, engine='python', encoding='utf_8')
df

▼ Wenn kein Zeichencode angegeben ist `skipfooter=6, engine='python'`　

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skipfooter=6, engine='python')
df

Japanisch ist verstümmelt.

▼ Wenn Python nicht angegeben ist `skipfooter=6`　

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', skipfooter=6)
df

#Ausgabe
# <ipython-input-81-77b6fdc5c66e>:2: ParserWarning: Falling back to the 'python' engine 
#because the 'c' engine does not support skipfooter; 
#you can avoid this warning by specifying engine='python'.

Ein Fehler wird angezeigt. Anweisungen zur Beschreibung von "engine = 'python'".

## 8. Geben Sie den Typ an und lesen Sie Beschreiben Sie als Option `dtype = type`. Wenn es nicht geändert werden kann, tritt ein Fehler auf.

Es gibt eine "dtypes" -Methode, um die Typen der gelesenen Tabelle anzuzeigen. ** Abhängig vom Plural oder Singular **.

▼ Konvertieren Sie in eine Zeichenfolge mit dtype = str und überprüfen Sie den Typ mit .dtypes (dtypes-Methode).

`In String konvertieren`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv', dtype=str)

df.dtypes

#Ausgabe
Unnamed: 0    object
Objekt in Spalte 1
Objekt in Spalte 2
Objekt in Spalte 3
Objekt in Spalte 4
Unnamed: 5    object
Objekt in Spalte 5
dtype: object

▼ Standard

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv')

df.dtypes

#Ausgabe
Unnamed: 0     object
Objekt in Spalte 1
Spalte 2 float64
Objekt in Spalte 3
Spalte 4 float64
Unnamed: 5     float64
Objekt in Spalte 5
dtype: object

▼ Zeichenkette in float konvertieren (Fehler)

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.csv' ,dtype=float)
df.dtypes

#Ausgabe
# ValueError: could not convert string to float

## 9. Lesen Sie die Dateien im WEB Es ist auch möglich, Dateien im WEB zu lesen.

pd.read_csv ('URL', encoding = 'Zeichencode') `

Wenn die Zeichen verstümmelt sind oder wenn Sie die Fehlermeldung erhalten, dass der Zeichencode unterschiedlich ist, geben Sie "encoding = 'Zeichencode'" an.

** ▼ Lesen Sie die statistischen Daten der Bevölkerung der Regierung nach Präfektur und Geschlecht ** ・ Referenzseite: e-Start

`python`


import pandas as pd

dfurl = pd.read_csv('https://www.e-stat.go.jp/stat-search/file-download?statInfId=000031524010&fileKind=1', encoding='shift_jis')
dfurl

### ▼ Wenn kein Zeichencode angegeben ist (ein Fehler tritt auf)

`Error`


import pandas as pd

dfurl = pd.read_csv('https://www.e-stat.go.jp/stat-search/file-download?statInfId=000031524010&fileKind=1')
dfurl

#Ausgabe
# UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 0: invalid start byte

## 10. Komprimierte Datei lesen Komprimierte Dateien wie zip können ohne Angabe von Informationen gelesen werden. Lesbare Komprimierungsformate: "gzip", "bz2", "zip", "xz"

Weil es das komprimierte Format analog liest. └ Standard: Komprimierung = Infer

Wenn mehrere Dateien komprimiert sind, können sie nicht gelesen werden.
Kann nicht gelesen werden, wenn PW eingestellt ist.

** ▼ Lesen Sie die Zip-Datei test.zip auf dem Desktop **

`python`


import pandas as pd
df = pd.read_csv('~/desktop/test.zip')
df

■ Das Obige ist dasselbe wie "Komprimierung =" Zip ".

import pandas as pd
df = pd.read_csv('~/desktop/test.zip', compression='zip')
df

▼ Ein Fehler tritt auf, wenn das Komprimierungsformat falsch angegeben ist.

`Error`


import pandas as pd
df = pd.read_csv('~/desktop/test.zip', compression='gzip')
df

#Ausgabe
# BadGzipFile: Not a gzipped file (b'PK')

▼ Fehler, auch wenn zwei oder mehr Dateien komprimiert sind

`Error`


import pandas as pd
df = pd.read_csv('~/desktop/2files.zip')
df

#Ausgabe
# ValueError: Multiple files found in compressed zip file ['test.csv', 'space.csv']

▼ Fehler, auch wenn zwei oder mehr Dateien komprimiert sind

`Error`


import pandas as pd
df = pd.read_csv('~/desktop/2files.zip')
df

#Ausgabe
# ValueError: Multiple files found in compressed zip file ['test.csv', 'space.csv']

▼ Fehler auch wenn PW eingestellt ist

`Error`


import pandas as pd
df = pd.read_csv('~/desktop/test.zip')
df

#Ausgabe
# RuntimeError: File 'test.csv' is encrypted, password required for extraction

## 11. Lesen Sie, indem Sie ein Trennzeichen angeben `sep = 'separator'` └ Gleiches gilt für "delimiter = 'separator'".

** ▼ Beispiel: Zu lesende Datei ** In einer Zelle befinden sich mehrere Daten. └ Daten durch "@" getrennt └ Daten getrennt durch ";"

2 Zeichen können nicht angegeben werden (Liste kann nicht verwendet werden)
Die gleiche Option kann nicht wiederholt werden
Trennzeichen und Sep können nicht zusammen verwendet werden. └ Trennzeichen hat Priorität.

** ▼ Standardladung **

`python`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv')
df

** ▼ `sep = '@'` ** Getrennt durch "@"

`「@Getrennt durch "(sep)`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep='@')
df

** ▼ delimita = '@' ** Getrennt durch "@"

`「@(Trennzeichen)`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', delimiter='@')
df

** ▼ `sep = ';'` ** Getrennt durch ";"

`「;Getrennt durch "(sep)`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep=';')
df

** ▼ Optionen können nicht wiederholt werden. ** ** **

`Error`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep=';', sep='@')
df

#Ausgabe
# SyntaxError: keyword argument repeated

** ▼ 2 Zeichen können nicht angegeben werden (Liste kann nicht verwendet werden) **

`Error`


import pandas as pd

df = pd.read_csv('~/desktop/test2.csv', sep=[';','@'])
df

#Ausgabe
# TypeError: unhashable type: 'list'

** ▼ 2 Trennzeichen und Sep können nicht zusammen verwendet werden. ** ** ** └ Dem Trennzeichen wird Vorrang eingeräumt.

[Zurück zum Anfang](Liste der Hauptoptionen von pandas read_csv, die das Lesen von # pythoncsv-Dateien beherrschen)