[PYTHON] Que faire quand UnicodeDecodeError se produit pendant read_csv dans pandas (pd.read_table ())

Lors de la lecture d'un fichier CSV avec des pandas, c'est très pratique car il suffit de read_csv.

import pandas as pd
pd.read_csv("file/to/path")

Normalement, il n'y a pas de problème avec ce qui précède, mais s'il y a des caractères incorrects dans le CSV, l'erreur suivante sera générée.

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte

Il semble qu'il soit en colère, "je ne peux pas le décoder."

Puisque le code de caractère du CSV créé par Excel est "shift-jis", je vais essayer de le spécifier avec ʻencoding` de lecture pour le moment.

import pandas as import pd
pd.read_csv("file/to/path", encoding="shift-jis")

Après tout, c'est une erreur. C'est vrai.

UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x87 in position 0: illegal multibyte sequence

Comme solution, il semble que vous puissiez le lire en spécifiant ʻignore dans codecs.open, en ignorant l'erreur, en l'ouvrant et en pd.read_table`.

with codecs.open("file/to/path", "r", "Shift-JIS", "ignore") as file:
    df = pd.read_table(file, delimiter=",")
    print(df)

Il semble que vous puissiez le passer tel quel en tant qu'objet StreamReaderWriter sans faire file.read ().

J'en suis accro, alors j'ai pris une note.

Recommended Posts

Que faire quand UnicodeDecodeError se produit pendant read_csv dans pandas (pd.read_table ())
Que faire si une erreur de décodage Unicode se produit dans pip
Que faire si «Sans nom: 0» est ajouté dans to_csv-> read_csv des pandas
Que faire lorsque ModuleNotFoundError: Aucun module nommé'XXX 'ne se produit en Python
UnicodeDecodeError dans pandas read_csv
Que faire si pipreqs aboutit à UnicodeDecodeError
Que faire quand une PermissionError dans tempfile.mkstemp se produit
[OSX] [pyenv] Que faire lorsqu'une erreur SSL se produit dans pip
[openpyxl] Que faire lorsque IllegalCharacterError apparaît dans pandas.DataFrame.to_excel
[python] Que faire si vous obtenez une erreur avec send_keys dans le chrome sans tête
Que faire lorsqu'une erreur SSL se produit avec pip dans l'environnement Windows10, miniconda, VScode
Que faire lorsqu'une erreur de suppression se produit lors de la mise à jour de conda
Que faire si une erreur 0xC0000005 se produit dans tf.train.start_queue_runners ()
Que faire lorsqu'une erreur se produit avec import _ssl
Que faire lorsque "SSL: CERTIFICATE_VERIFY_FAILED _ssl.c: 1056" apparaît en Python
Que faire lorsque "En-tête HTTP_HOST non valide" apparaît dans Django
Que faire quand Ubuntu plante
Que faire lorsqu'un artefact manquant se produit dans un fichier jar qui n'est pas défini dans pom.xml
Que faire si ʻObject arrays ne peut pas être chargé quand allow_pickle = False` se produit dans numpy.load ()
[Beanstalk] Que faire lorsqu'une erreur se produit avec import uuid
Que faire lorsque le type de valeur est ambigu en Python?
Que faire lorsque le résultat téléchargé via scrapy est en anglais
Que faire si une erreur se produit lors de l'importation de numpy avec VScode
Que faire lorsque l'avertissement "L'environnement est cohérent ..." apparaît dans l'environnement Anaconda
Que faire lorsqu'un message d'avertissement est affiché dans la liste des pip
Que faire pour obtenir une feuille de calcul Google en Python
Que faire si CERTIFICATE_VERIFY_FAILED se produit lorsque nltk.download () est effectué sur macOS pyhon
Que faire lorsqu'un avertissement apparaît autour de l'intégration de Python dans CheckHealth de Neovim
Que faire si une erreur de codage Unicode se produit dans Sublime Text Python
Que faire lorsque "TypeError: type de données non compris" apparaît dans numpy.zeros de python
Que faire si l'abandon s'affiche lors de la saisie d'une vidéo de caméra dans OpenCV
Que faire lorsque [Errno 2] Aucun fichier ou répertoire de ce type n'apparaît en Python
Que faire lorsque le graphique n'apparaît pas sur le notebook Jupyter (IPython)
Que faire si une erreur de version se produit dans le pilote Selenium Chrome
[Python] Erreur de type: l'objet 'WebElement' n'est pas itérable Que faire lorsqu'une erreur se produit
Que faire lorsque l'imitation est intégrée à Python
Que faire si l'installation de pip échoue dans Xcode 5.1
[Go 1.13] Que faire lorsque la disposition de répertoire inattendue: apparaît
UnicodeDecodeError: Que faire lorsque le codec de 'shift_jis' ne peut pas décoder l'octet
curl: (60) Que faire lorsque le certificat de l'émetteur n'est pas valide.
Que faire quand n'est pas dans le fichier sudoers. Cet incident sera signalé.
Que faire lorsque gdal_merge génère un fichier énorme
Que faire lorsque seule la fenêtre est affichée et que rien ne s'affiche dans le pygame
Que faire lorsque vous déclenchez ValueError, "type de hachage non pris en charge"
Que faire si vous obtenez une erreur lors de l'importation de matplotlib en Python (Mac)
Que faire lorsque "impossible d'importer le nom xxx" [Python]
Je veux faire quelque chose avec Python à la fin
Que faire s'il n'y a pas de réponse en raison des paramètres de proxy dans le scraping Web Python
Que faire si vous obtenez une erreur lors de l'exécution de "certbot renouveler" dans l'environnement CakePHP
[AWS] Que faire lorsque vous souhaitez piper avec Lambda
Que faire lorsque ʻarguments [0] .scrollIntoView (); `échoue dans python sélénium
Procédures à suivre lorsque le japonais n'est pas affiché dans matplotlib
Que faire si pip donne une DistributionError dans Homebrew
Que faire lorsque la police PyCharm est étrange ou déformée
Que faire lorsque des séries booléennes non alignables sont fournies comme indexeur
Que faire si Combinaisons devient «couverture inconnue»
Que faire si l'installation du package échoue lors du déploiement sur heroku