[PYTHON] Was tun, wenn UnicodeDecodeError während read_csv in Pandas auftritt (pd.read_table ())

Wenn Sie eine CSV-Datei mit Pandas lesen, ist dies sehr praktisch, da Sie nur "read_csv" benötigen.

import pandas as pd
pd.read_csv("file/to/path")

Normalerweise gibt es kein Problem mit den oben genannten, aber wenn die CSV fehlerhafte Zeichen enthält, wird der folgende Fehler ausgegeben.

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte

Es scheint, dass er wütend ist: "Ich kann es nicht entschlüsseln."

Da der von Excel erstellte Zeichencode von CSV "shift-jis" ist, werde ich versuchen, ihn vorerst mit "Kodierung" des Lesens anzugeben.

import pandas as import pd
pd.read_csv("file/to/path", encoding="shift-jis")

Immerhin ist es ein Fehler. Korrekt.

UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x87 in position 0: illegal multibyte sequence

Geben Sie als Lösung in "codecs.open" "ignore" an, ignorieren Sie den Fehler und öffnen Sie ihn. Es scheint, dass er von "pd.read_table" gelesen werden kann.

with codecs.open("file/to/path", "r", "Shift-JIS", "ignore") as file:
    df = pd.read_table(file, delimiter=",")
    print(df)

Es scheint, dass Sie es als StreamReaderWriter-Objekt übergeben können, ohne file.read () auszuführen.

Ich bin süchtig danach, also habe ich mir eine Notiz gemacht.

Recommended Posts

Was tun, wenn UnicodeDecodeError während read_csv in Pandas auftritt (pd.read_table ())
Was tun, wenn in pip ein Unicode-Dekodierungsfehler auftritt?
Was tun, wenn "Unbenannt: 0" in_csv-> read_csv von Pandas hinzugefügt wird?
Was tun, wenn ModuleNotFoundError: In Python tritt kein Modul mit dem Namen 'XXX' auf
UnicodeDecodeError in pandas read_csv
Was tun, wenn pipreqs zu UnicodeDecodeError führt?
Was tun, wenn ein PermissionError in tempfile.mkstemp auftritt?
[OSX] [pyenv] Was tun, wenn in pip ein SSL-Fehler auftritt?
[openpyxl] Was tun, wenn IllegalCharacterError in pandas.DataFrame.to_excel angezeigt wird?
[Python] Was tun, wenn bei send_keys in Headless Chrome ein Fehler auftritt?
Was tun, wenn ein SSL-Fehler mit pip in einer Windows10-, Miniconda- oder VScode-Umgebung auftritt?
Was tun, wenn beim Aktualisieren von conda ein Fehler beim Entfernen auftritt?
Was tun, wenn in tf.train.start_queue_runners () ein 0xC0000005-Fehler auftritt?
Was tun, wenn beim Importieren von _ssl ein Fehler auftritt?
Was tun, wenn in Python "SSL: CERTIFICATE_VERIFY_FAILED _ssl.c: 1056" angezeigt wird?
Was tun, wenn in Django "Ungültiger HTTP_HOST-Header" angezeigt wird?
Was tun, wenn Ubuntu abstürzt?
Was tun, wenn ein nicht in pom.xml definiertes Glas zu einem fehlenden Artefakt wird?
Was tun, wenn in numpy.load () "Objekt-Arrays nicht geladen werden können, wenn allow_pickle = False" auftritt?
[Beanstalk] Was tun, wenn beim Importieren der UUID ein Fehler auftritt?
Was tun, wenn der Werttyp in Python nicht eindeutig ist?
Was tun, wenn das über Scrapy heruntergeladene Ergebnis auf Englisch ist?
Was tun, wenn beim Importieren von numpy mit VScode ein Fehler auftritt?
Was tun, wenn in der Anaconda-Umgebung die Warnung "Die Umgebung ist konsistent ..." angezeigt wird
Was tun, wenn eine Warnmeldung in der Pip-Liste angezeigt wird?
Was tun, um eine Google-Tabelle in Python zu erhalten?
Was tun, wenn CERTIFICATE_VERIFY_FAILED auftritt, wenn nltk.download () unter macOS pyhon ausgeführt wird?
Was tun, wenn eine Warnung zur Python-Integration in Neovims CheckHealth angezeigt wird?
Was tun, wenn in Sublime Text Python ein Unicode-Codierungsfehler auftritt?
Was tun, wenn "TypeError: Datentyp nicht verstanden" in der Python-Datei numpy.zeros angezeigt wird?
Was tun, wenn bei der Eingabe eines Kameravideos in OpenCV ein Abbruch angezeigt wird?
Was tun, wenn [Errno 2] in Python keine solche Datei oder kein solches Verzeichnis angezeigt wird?
Was tun, wenn das Diagramm nicht auf dem Jupyter-Notizbuch (Ipython) angezeigt wird?
Was tun, wenn im Selenium Chrome-Treiber ein Versionsfehler auftritt?
[Python] Typ Fehler: 'WebElement'-Objekt ist nicht iterierbar Was tun, wenn ein Fehler auftritt?
Was beim Nachahmen zu tun ist, wird in Python eingebettet
Was tun, wenn die Pip-Installation in Xcode 5.1 fehlschlägt?
[Go 1.13] Was tun, wenn ein unerwartetes Verzeichnislayout angezeigt wird?
UnicodeDecodeError: Was tun, wenn der Codec von'shift_jis kein Byte dekodieren kann?
curl: (60) Was tun, wenn das Ausstellerzertifikat ungültig ist?
Was zu tun ist, wenn es nicht in der Sudoers-Datei enthalten ist. Dieser Vorfall wird gemeldet.
Was tun, wenn gdal_merge eine große Datei generiert?
Was tun, wenn nur das Fenster angezeigt wird und im Pygame nichts angezeigt wird?
Was tun, wenn ValueError, "nicht unterstützter Hash-Typ" ausgelöst wird?
Was tun, wenn beim Importieren von matplotlib in Python (Mac) eine Fehlermeldung angezeigt wird?
Was tun, wenn "Name xxx nicht importiert werden kann" [Python]
Ich möchte am Ende etwas mit Python machen
Was tun, wenn aufgrund der Proxy-Einstellungen in Python Web Scraping keine Antwort erfolgt?
Was tun, wenn beim Ausführen von "certbot erneuern" in der CakePHP-Umgebung eine Fehlermeldung angezeigt wird?
[AWS] Was tun, wenn Sie mit Lambda pfeifen möchten?
Was tun, wenn `Argumente [0] .scrollIntoView ();` in Python-Selen fehlschlägt?
Verfahren, die durchgeführt werden müssen, wenn Japanisch nicht in matplotlib angezeigt wird
Was tun, wenn pip in Homebrew einen DistributionError ausgibt?
Was tun, wenn die PyCharm-Schrift seltsam oder verstümmelt ist?
Was tun, wenn nicht ausrichtbare boolesche Reihen als Indexer bereitgestellt werden?
Was tun, wenn Overalls "Abdeckung unbekannt" werden?
Was tun, wenn die Paketinstallation bei der Bereitstellung auf heroku fehlschlägt?