Zeichenkodierung beim Umgang mit Dateien in Python 3

Überblick

• In Python3 hängt die Standard-Zeichenkodierung beim Umgang mit Dateien mit "Öffnen" usw. vom Betriebssystem ab.
• In Unix (Linux) -Serien hängt es vom Gebietsschema (LC_CTYPE) ab.
• Wenn Sie eine Datei lesen oder schreiben, ohne darüber nachzudenken, kann es je nach Umgebung zu "UnicodeDecodeError" usw. kommen.

Bestätigung

--Überprüfen Sie den Vorgang mit Ihrem macOS

• Angenommen, Sie haben eine utf-8-Textdatei mit Japanisch geschrieben. Öffnen Sie diese Datei, um den Inhalt zu erhalten ​

with open('utf-8.txt', mode='r') as fp:
    text = fp.read()

• Sie können es fehlerfrei öffnen und den Inhalt der Datei abrufen.
• Dies liegt daran, dass macOS standardmäßig die UTF-8-Zeichencodierung verwendet
• Sie können die tatsächlich mit locale.getpreferredencoding verwendete Zeichenkodierung überprüfen. ​

>> import locale
>> locale.getpreferredencoding() 
UTF-8

• Da getpreferredencoding "UTF-8" ist, kann der Text von utf-8 fehlerfrei gelesen werden.
• Ändern Sie tatsächlich "LC_CTYPE" und überprüfen Sie, ob ein Fehler auftritt --Verwenden Sie setlocale, um LC_CTYPE vorübergehend zu ändern ​

import locale
​
locale.setlocale(locale.LC_CTYPE, ('C')) 
print(locale.getpreferredencoding(False)) # => US-Werden Sie ASCII
​
with open('hoge.txt') as fp:
    text = fp.read()

Ergebnis

US-ASCII
Traceback (most recent call last):
  File "test.py", line 7, in <module>
    text = fp.read()
  File "/path/to/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe3 in position 0: ordinal not in range(128)

• Durch Setzen von LC_CTYPE auf C wird die Zeichenkodierung zu US-ASCII.
• Als Ergebnis erhalte ich beim Lesen des Textes von uff-8 UnicodeDecodeError.

Memo
-LC ohne Setloacale_Das gleiche Verhalten kann durch direktes Ändern der Umgebungsvariablen CTYPE bestätigt werden.
- getpreferredencoding(do_setloacal=False)Andernfalls konnte die vorübergehend geänderte Codierung mit setlocale nicht abgerufen werden.

Korrespondenz

• Grundsätzlich ist es beim Umgang mit Dateien besser, die Zeichenkodierung anzugeben
• In Python3 kann open jetzt das Argument encoding akzeptieren, sodass Sie es verwenden können (Sie können Dateien unabhängig von = LC_CTYPE verarbeiten).

with open('utf-8.txt', encoding='utf-8') as fp:
    text = fp.read()

• Wenn Sie eine Bibliothek schreiben möchten, die sowohl mit Python2 als auch mit Python3 funktioniert, ist es besser, sie im Binärmodus zu öffnen und dann auf utf-8 zu setzen oder das Codecs-Modul zu verwenden.

#! -*- coding:utf-8 -*-
import locale
import codecs
import six
​
locale.setlocale(locale.LC_CTYPE, ('C'))
​
with open('utf-8.txt', 'rb') as fp:
    text1 = fp.read()
    text1 = six.text_type(text1, 'utf-8')
​
with codecs.open('utf-8.txt', 'r', encoding='utf-8') as fp:
    text2 = fp.read()
​
assert text1 == text2

Zusammenfassung

--Python3 bestimmt die Standardzeichencodierung beim Umgang mit Dateien in Abhängigkeit vom Betriebssystem und dem Gebietsschema (LC_CTYPE)

• Grundsätzlich ist es besser, die Datei nach Angabe der Zeichenkodierung zu behandeln. Andernfalls tritt ein unbeabsichtigtes Problem auf. »Es tut mir leid, dass ich so etwas in letzter Zeit gemacht habe.
• https://github.com/zengin-code/zengin-py/pull/4

Referenz

• http://qiita.com/methane/items/6e294ef5a1fad4afa843
• http://qiita.com/methane/items/dac75ef5019b311a0f10
• https://docs.python.jp/3/library/locale.html#locale.setlocale
• https://docs.python.jp/3/library/locale.html#locale.getpreferredencoding