Code de caractères pour la lecture et l'écriture de fichiers csv avec python

Contexte de la publication de cet article

En tant que débutant en python, je suis parfois tombé sur le codage lors de la lecture et de l'écriture de fichiers csv, j'ai donc pris note du résumé du contenu. C'est aussi un ** article pour les débutants **. L'environnement sera l'environnement Windows.

Erreur

À propos des erreurs souvent détectées lors de la lecture et de l'écriture de fichiers csv

Erreur lors de l'écriture

contenu de l'erreur


UnicodeEncodeError: 'shift_jis' codec can't encode character '\u9ad9' in position 14: illegal multibyte sequence

Cela signifie que certains caractères ne peuvent pas être encodés avec shift-jis. Cela se produit lorsque le code de caractère du fichier et le code de caractère du caractère écrit ne correspondent pas lors de l'écriture du fichier.

Au fait, le code est spécifié ici.

Exemple de code


with open(filepath, 'w', newline='', encoding='shift-jis') as f

Erreur lors de la lecture

contenu de l'erreur


UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xee in position 0

Cela signifie que certains caractères ne peuvent pas être codés avec shift-jis. Cela se produit lorsque le code de caractère du fichier et le code de caractère spécifié lors de la lecture du fichier ne correspondent pas lors de la lecture du fichier. (Ou, les caractères qui ne peuvent pas être lus avec le code de caractère spécifié lors de la lecture du fichier sont écrits dans le fichier.)

Au fait, le code est spécifié ici.

Exemple de code


data = pd.read_csv(filepath, encoding = 'shift-jis')

Quelle est la spécification correcte du code de caractère?

Si vous souhaitez créer, écrire et lire une série d'opérations sur python, vous devez les spécifier en fonction de l'axe horizontal ci-dessous, et aucune erreur ne devrait se produire. (La signification du code de caractère du fichier représente le code de caractère de csv créé par le code de caractère spécifié au moment de l'écriture)

Code de caractère au moment de l'écriture Code de caractère de fichier Code de caractère au moment de la lecture
UTF-8 UTF-8 UTF-8
cp932 ansi cp932
shift-jis ansi shift-jis

** Si cp932 et shift-jis sont des fichiers, c'est ansi, mais lequel utilisez-vous? ** ** Je pense que la plus grande différence entre cp932 et shift-jis est de savoir s'ils peuvent ou non gérer des caractères dépendants de l'environnement tels que ** Hashigodaka ** et ** 﨑 (Tatesaki) **. Vous pouvez utiliser cp932. Ainsi, par exemple, lorsque les fichiers ansi csv sont liés à partir d'autres systèmes, il est préférable de supposer qu'ils seront importés par cp392 au lieu de shift-jis.

Recommended Posts

Code de caractères pour la lecture et l'écriture de fichiers csv avec python
Lire et écrire du CSV avec Python
Lire et écrire des fichiers JSON avec Python
La lecture et l'écriture s'adaptent aux fichiers avec Python (mémo)
Exemple de lecture et d'écriture de CSV avec Python
Lecture et écriture de fichiers CSV Python
Lire et écrire NetCDF avec Python
uproot: bibliothèque basée sur Python / Numpy pour lire et écrire des fichiers ROOT
Étude à partir de Python Lecture et écriture de fichiers Hour9
Environnement virtuel / package Python (Windows10) avec VSCode
Traitement d'image avec la configuration de l'environnement Python pour Windows
[Python] Lecture de fichiers CSV
Essayons l'analyse! Chapitre 8: Environnement d'analyse pour Windows créé avec Python et Eclipse (PyDev)
Environnement de développement Python avec Windows + Anaconda3 + Visual Studio Code
Environnement de développement Python avec Windows + Python + PipEnv + Visual Studio Code
Python avec VSCode (Windows 10)
Lire des fichiers .txt avec Python
Préparer l'environnement de développement Python avec Mac + Windows + VisualStudio Code (version Windows)
Préparer l'environnement de développement Python avec Mac + Windows + VisualStudio Code (version Mac)
Code Python pour l'écriture de données CSV dans le stockage d'objets DSX
LaTeX confortable avec sous-système Windows pour Linux et VS Code
Vérifiez quel est le code de caractère pour tous les fichiers sous le répertoire Python et sortie
Gérer les fichiers Excel CSV avec Python
Lire et écrire du texte en Python
Concurrence avec VS Code Créez un environnement Python pour les professionnels sous Windows
Créer un environnement d'exécution Windows Python avec VScode + Remote WSL
Créez un environnement Python 2.7 64 bits avec TDM-GCC et MinGW-w64 sous Windows 7
Création d'un environnement Windows 7 pour une introduction à l'apprentissage automatique avec Python
Comment importer des fichiers CSV et TSV dans SQLite avec Python
Comment créer un environnement d'exécution Python et Jupyter avec VSCode
Construction de l'environnement LaTeX et R (un peu Python) avec SublimeText3 (Windows)
Préparez un environnement virtuel Python pour votre projet avec venv avec VS Code
Procédure de construction de l'environnement de projet Python (pour Windows)
Création d'un environnement Python 3.6 avec Windows + PowerShell
Procédure de création d'un environnement virtuel Python avec VS Code sous Windows
Lire et écrire des fichiers csv avec numpy
[Easy Python] Lecture de fichiers Excel avec openpyxl
Fichier Python CSV Conversion de code de caractère, extraction de nom de fichier, lecture, sortie, opération de fusion
Mettre la liaison MeCab pour Python sur Windows, Mac et Linux avec pip
Créer un environnement pour exécuter des fonctions C ++ à partir de Python avec Pybind11 (pour les utilisateurs de Windows et Visual Studio Code)
Créez rapidement un environnement python pour le Deep Learning / Data Science (Windows)
[Easy Python] Lecture de fichiers Excel avec des pandas
Nettoyer l'environnement python avec Pythonz et virtualenv
[Python] Maîtrisez la lecture des fichiers csv. Liste des principales options pour pandas.read_csv.
Erreur due à UnicodeDecodeError lors de la lecture d'un fichier CSV avec Python [Pour les débutants]
Construction d'un environnement d'analyse de données Python facile avec Windows10 Pro x VS Code x Docker
Créez un environnement de développement local avec WSL + Docker Desktop pour Windows + docker-lambda + Python
Lecture de code de m3u8, une bibliothèque de manipulation de fichiers m3u8 au format vidéo HLS avec Python
Environnement et utilisation recommandés lors du développement avec Python
Raisonnement causal et recherche causale par Python (pour les débutants)
Construire un environnement python avec virtualenv et direnv
(Windows) Causes et solutions de contournement pour UnicodeEncodeError dans Python 3
Créer un environnement de développement Python avec Visual Studio Code
Construire un environnement Anaconda pour Python avec pyenv
Installez OpenCV 4.0 et Python 3.7 sur Windows 10 avec Anaconda
Faites glisser et déposez un fichier local avec Selenium (Python)
Encodage de caractères lors du traitement de fichiers en Python 3
Liens et mémos de chaînes de code de caractères Python