Zeichencode zum Lesen und Schreiben von CSV-Dateien mit Python ~ Windows-Umgebung ver ~

Hintergrund der Veröffentlichung dieses Artikels

Als Python-Anfänger stolpere ich manchmal über das Codieren beim Lesen und Schreiben von CSV-Dateien, daher habe ich mir die Zusammenfassung des Inhalts notiert. Es ist auch ein ** Artikel für Anfänger **. Die Umgebung wird die Windows-Umgebung sein.

Error

Informationen zu Fehlern, die beim Lesen und Schreiben von CSV-Dateien häufig auftreten

Fehler beim Schreiben

Fehlerinhalt


UnicodeEncodeError: 'shift_jis' codec can't encode character '\u9ad9' in position 14: illegal multibyte sequence

Dies bedeutet, dass es einige Zeichen gibt, die nicht mit Shift-Jis codiert werden können. Es tritt auf, wenn der Zeichencode der Datei und der Zeichencode des geschriebenen Zeichens beim Schreiben der Datei nicht übereinstimmen.

Der Code wird übrigens hier angegeben.

Codebeispiel


with open(filepath, 'w', newline='', encoding='shift-jis') as f

Fehler beim Lesen

Fehlerinhalt


UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xee in position 0

Dies bedeutet, dass es einige Zeichen gibt, die nicht mit Shift-Jis codiert werden können. Es tritt auf, wenn der Zeichencode der Datei und der beim Lesen der Datei angegebene Zeichencode beim Lesen der Datei nicht übereinstimmen. (Alternativ werden Zeichen, die nicht mit dem beim Lesen der Datei angegebenen Zeichencode gelesen werden können, in die Datei geschrieben.)

Der Code wird übrigens hier angegeben.

Codebeispiel


data = pd.read_csv(filepath, encoding = 'shift-jis')

Was ist die richtige Zeichencode-Spezifikation?

Wenn Sie eine Reihe von Operationen in Python erstellen, schreiben und lesen möchten, sollten Sie sie gemäß der folgenden horizontalen Achse angeben, damit kein Fehler auftritt. (Die Bedeutung des Zeichencodes der Datei stellt den Zeichencode von csv dar, der durch den zum Zeitpunkt des Schreibens angegebenen Zeichencode erstellt wurde.)

Zeichencode zum Zeitpunkt des Schreibens Datei Zeichencode Zeichencode zum Zeitpunkt des Lesens
UTF-8 UTF-8 UTF-8
cp932 ansi cp932
shift-jis ansi shift-jis

** Wenn sowohl cp932 als auch shift-jis Dateien sind, ist es ansi, aber welche verwenden Sie? ** ** ** Ich denke, der größte Unterschied zwischen cp932 und shift-jis besteht darin, ob sie mit umgebungsabhängigen Zeichen wie ** Hashigodaka ** und ** 﨑 (Tatesaki) ** umgehen können oder nicht. Sie können cp932 verwenden. Wenn beispielsweise ansi csv-Dateien von anderen Systemen aus verknüpft werden, ist es besser anzunehmen, dass sie von cp392 anstelle von shift-jis importiert werden.

Recommended Posts

Zeichencode zum Lesen und Schreiben von CSV-Dateien mit Python ~ Windows-Umgebung ver ~
Lesen und Schreiben von CSV mit Python
Lesen und Schreiben von JSON-Dateien mit Python
Lesen und Schreiben passt Dateien mit Python (Memo)
Beispiel für das Lesen und Schreiben von CSV mit Python
Lesen und Schreiben von Python CSV-Dateien
Lesen und Schreiben von NetCDF mit Python
entwurzeln: Python / Numpy-basierte Bibliothek zum Lesen und Schreiben von ROOT-Dateien
Studie aus Python Lesen und Schreiben von Hour9-Dateien
Virtuelle Python / Windows (Windows 10) -Umgebung / Paket mit VSCode
Bildverarbeitung mit Python Environment Setup für Windows
[Python] CSV-Dateien lesen
Versuchen wir es mit der Analyse! Kapitel 8: Analyseumgebung für Windows Erstellt mit Python und Eclipse (PyDev)
Python-Entwicklungsumgebung mit Windows + Anaconda3 + Visual Studio Code
Python-Entwicklungsumgebung mit Windows + Python + PipEnv + Visual Studio-Code
Python mit VSCode (Windows 10)
TXT-Dateien mit Python lesen
Bereiten Sie die Python-Entwicklungsumgebung mit Mac + Windows + VisualStudio Code (Windows-Version) vor.
Bereiten Sie die Python-Entwicklungsumgebung mit Mac + Windows + VisualStudio Code (Mac-Version) vor.
Python-Code zum Schreiben von CSV-Daten in den DSX-Objektspeicher
Komfortables LaTeX mit Windows-Subsystem für Linux und VS-Code
Überprüfen Sie den Zeichencode für alle Dateien im Verzeichnis Python und geben Sie ihn aus
Behandeln Sie Excel-CSV-Dateien mit Python
Lesen und Schreiben von Text in Python
Wettbewerb mit VS-Code Erstellen Sie eine Python-Umgebung für Profis unter Windows
Erstellen Sie eine Windows Python-Ausführungsumgebung mit VScode + Remote WSL
Erstellen Sie eine 64-Bit-Python 2.7-Umgebung mit TDM-GCC und MinGW-w64 unter Windows 7
Erstellen einer Windows 7-Umgebung für eine Einführung in das maschinelle Lernen mit Python
So importieren Sie CSV- und TSV-Dateien mit Python in SQLite
So erstellen Sie eine Python- und Jupyter-Ausführungsumgebung mit VSCode
Aufbau einer LaTeX- und R-Umgebung (ein wenig Python) mit SublimeText3 (Windows)
Bereiten Sie mit venv mit VS Code eine virtuelle Python-Umgebung für Ihr Projekt vor
Konstruktionsverfahren für die Python-Projektumgebung (für Windows)
Erstellen einer Python 3.6-Umgebung mit Windows + PowerShell
Vorgehensweise zum Erstellen einer virtuellen Python-Umgebung mit VS-Code unter Windows
Lesen und Schreiben von CSV-Dateien mit Numpy
[Easy Python] Lesen von Excel-Dateien mit openpyxl
Python CSV-Datei Zeichencodekonvertierung, Extraktion von Dateinamen, Lesen, Ausgeben, Zusammenführen
Setzen Sie die MeCab-Bindung für Python unter Windows, Mac und Linux mit pip ein
Erstellen Sie mit Pybind11 eine Umgebung zum Ausführen von C ++ - Funktionen aus Python (für Benutzer von Windows- und Visual Studio-Code).
Erstellen Sie schnell eine Python-Umgebung für Deep Learning / Data Science (Windows)
[Easy Python] Lesen von Excel-Dateien mit Pandas
Bereinigen Sie die Python-Umgebung mit Pythonz und virtualenv
[Python] Beherrsche das Lesen von CSV-Dateien. Liste der Hauptoptionen für pandas.read_csv.
Fehler aufgrund von UnicodeDecodeError beim Lesen der CSV-Datei mit Python [Für Anfänger]
Einfache Erstellung einer Python-Datenanalyseumgebung mit Windows 10 Pro x VS Code x Docker
Erstellen Sie eine lokale Entwicklungsumgebung mit WSL + Docker Desktop für Windows + Docker-Lambda + Python
Code lesen von m3u8, einer Bibliothek zum Bearbeiten von m3u8-Dateien im HLS-Videoformat mit Python
Empfohlene Umgebung und Verwendung bei der Entwicklung mit Python
Kausales Denken und kausale Suche von Python (für Anfänger)
Erstellen einer Python-Umgebung mit virtualenv und direnv
(Windows) Ursachen und Problemumgehungen für UnicodeEncodeError in Python 3
Erstellen Sie eine Python-Entwicklungsumgebung mit Visual Studio Code
Erstellen einer Anaconda-Umgebung für Python mit pyenv
Installieren Sie OpenCV 4.0 und Python 3.7 unter Windows 10 mit Anaconda
Ziehen Sie eine lokale Datei mit Selenium (Python) per Drag & Drop.
Zeichenkodierung beim Umgang mit Dateien in Python 3
Links und Memos von Python-Zeichencodezeichenfolgen