Fehler aufgrund von UnicodeDecodeError beim Lesen der CSV-Datei mit Python [Für Anfänger]

Einführung

Ich habe die Gründe zusammengefasst, warum der folgende Fehler beim Lesen einer CSV-Datei mit Python auftritt.

 import pandas as pd
pd.read_csv("file/to/path")

Ich hoffe, es ist hilfreich für diejenigen, die den folgenden Code haben, wenn sie_csv mit Pandas lesen.

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x90 in position 0: invalid start byte

1. Lösung

Verwenden Sie zum Abschluss zunächst den folgenden Code.

pd.read_csv("file/to/path", encoding="shift-jis")

encoding="shift-jis"

Wenn Sie es nur anziehen, sollte es in Ordnung sein! Wenn Sie immer noch eine Fehlermeldung erhalten, lesen Sie 2 und höher und berücksichtigen Sie den Grund.

2. Warum Sie eine Fehlermeldung erhalten

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x90 in position 0: invalid start byte

Erstens ist das, was diesen Fehler wütend macht, grob. Es heißt, dass die Daten nicht gelesen werden können, wenn der Zeichencode "utf-8" verwendet wird.

Zum Beispiel kann ich kein Englisch lesen, also ändere es auf Japanisch und lese dann die Daten! Es ist wie es ist.

Konvertieren wir es also in einen anderen Zeichencode. Das Konvertieren dieses Zeichencodes wird als Codierung bezeichnet.

3. Warum ist es dann "Shift-Jis"?

Lassen Sie mich zur Erklärung kurz den typischen Zeichencode erläutern.

UTF-8 Es ist einer der beliebtesten Zeichencodes der Welt und eine der Codierungsmethoden für Unicode. Es wird zum Zweck der Verwendung der in ASCII definierten Zeichen wie in Unicode eingerichtet.

Abgesehen von den schwierigen Dingen hier ist es in Ordnung zu erkennen, dass es am häufigsten verwendet wird.

JIS-Code

Es ist ein Standardzeichencode im Internet, insbesondere für E-Mails.

EUC Abkürzung für Extended Unix Code, verwendet von japanischem UNIX.

Shift_JIS Ein von Microsoft entwickelter Code, bei dem es sich um ein ASCII-Codezeichen mit hinzugefügten japanischen Zeichen handelt. Es wird auch in Windows und Mac verwendet und ist weit verbreitet für Dateien auf PCs.

** Mit anderen Worten, die CSV-Datei mit Japanisch kann von UTF-8 nicht gelesen werden. Ändern Sie sie daher in Shift_JIS **

Für diejenigen, die die Daten nach der Codierung in Shift_JIS nicht lesen konnten Überlegen Sie, in welchen der anderen Zeichencodes die Datei passt, und probieren Sie es aus.


Bis Sie ein Memo schreiben

Recommended Posts

Fehler aufgrund von UnicodeDecodeError beim Lesen der CSV-Datei mit Python [Für Anfänger]
[Python] Mit Python in eine CSV-Datei schreiben
Ausgabe in eine CSV-Datei mit Python
[Python: UnicodeDecodeError] Eine der Fehlerlösungen beim Lesen von CSV
Lesen einer CSV-Datei mit Python 2/3
Ich habe versucht, eine CSV-Datei mit Python zu berühren
Fehler aufgrund eines Konflikts zwischen Pythons bei der Verwendung von Gurobi
So konvertieren Sie eine JSON-Datei mit Python Pandas in eine CSV-Datei
Fehler beim Spielen mit Python
Schreiben Sie mit Python in csv
~ Tipps für Python-Anfänger mit Liebe von Pythonista ③ ~
Laden Sie die CSV-Datei mit Python herunter
Berechtigungsfehler beim Lesen der Django-Upload-Datei
[Python] CSV-Dateien lesen
Lesen und Schreiben von CSV-Dateien
[Python: UnicodeDecodeError] Eine der Fehlerlösungen beim Lesen von CSV
Fehler aufgrund von UnicodeDecodeError beim Lesen der CSV-Datei mit Python [Für Anfänger]
[Python] Dinge, die überprüft werden müssen, wenn in Django ein Unicode-Dekodierungsfehler auftritt
Lesen und Schreiben von Python CSV-Dateien
Lesen und Schreiben von CSV mit Python
[Pandas] Ich habe versucht, Verkaufsdaten mit Python zu analysieren. [Für Anfänger]
Atom: Hinweis zum Einrückungsfehler beim Kopieren des Python-Skripts in die Shell
[Python] So konvertieren Sie eine Datenbankdatei in CSV
INSERT in MySQL mit Python [Für Anfänger]
Memo, um nach KPI mit Python zu fragen
CSV-Datei mit Python lesen (CSV-Datei herunterladen und analysieren)
[Python] Konvertieren Sie CSV-Dateibegrenzer in Tabulatortrennzeichen
[Python] Bilder mit OpenCV lesen (für Anfänger)
[Teil1] Scraping mit Python → Organisieren Sie bis zu CSV!
Python> Ausgaben von 1 bis 100, 501 bis 600> Für CSV
WebApi-Erstellung mit Python (CRUD-Erstellung) Für Anfänger
[Für Anfänger] Versuchen Sie Web Scraping mit Python
Umgang mit OAuth2-Fehlern bei Verwendung von Google APIs aus Python
Ich erhalte einen UnicodeDecodeError, wenn ich versuche, mit Python sqlalchemy eine Verbindung zu Oracle herzustellen
Tipps für Python-Anfänger, um das Scikit-Image-Beispiel für sich selbst zu verwenden 3 Schreiben Sie in eine Datei
Lesen Sie die CSV-Datei mit Python und konvertieren Sie sie unverändert in DataFrame
Memo Nr. 4, dass Python-Anfänger "Detaillierte Erklärung der Python-Grammatik" lesen
Fehler beim Installieren eines Moduls mit Python pip
Der schnellste Weg für Anfänger, um Python zu beherrschen
Kratzen Sie das Essen mit Python und geben Sie es an CSV aus
Kausales Denken und kausale Suche von Python (für Anfänger)
[Python] Wie man Excel-Dateien mit Pandas liest
Memo Nr. 3, dass Python-Anfänger "Detaillierte Erklärung der Python-Grammatik" lesen
Konvertieren Sie die SVG-Datei mit Python in png / ico
Schreiben von Protokollen in eine CSV-Datei (Python, C-Sprache)
Memo Nr. 1, dass Python-Anfänger "Detaillierte Erklärung der Python-Grammatik" lesen
~ Tipps für Python-Anfänger mit Liebe von Pythonista ① ~
Zeichencode zum Lesen und Schreiben von CSV-Dateien mit Python ~ Windows-Umgebung ver ~
Das Ausgabe-Timing ist falsch, wenn die Standardausgabe (Fehlerausgabe) in eine Datei in Python konvertiert wird
Versuchen Sie, RPN mit Python zu berechnen (für Anfänger)
Ich habe versucht, eine CSV-Datei mit Python zu lesen
Memo Nr. 2, dass Python-Anfänger "Detaillierte Erklärung der Python-Grammatik" lesen
Was tun, wenn bei der Installation von Python mit pyenv eine Fehlermeldung angezeigt wird?
Schreiben Sie CSV-Daten mit AWS-Lambda + Python in AWS-S3
Einführung in die Programmierung (Python) TA Tendenz für Anfänger
Fehler beim Versuch, psycopg2 in Python zu installieren
Memo Nr. 6 für Python-Anfänger zum Lesen von "Detaillierte Erklärung der Python-Grammatik"
Ich möchte mit Python in eine Datei schreiben
Wie man Python für Anfänger schneller macht [numpy]
~ Tipps für Python-Anfänger mit Liebe von Pythonista ② ~
Materialien zum Lesen, wenn Sie mit Python beginnen
Memo Nr. 5, dass Python-Anfänger "Detaillierte Erklärung der Python-Grammatik" lesen
[Einführung für Anfänger] Umgang mit MySQL mit Python