[PYTHON] Différence approximative entre Unicode et UTF-8 (et ses compagnons)

Unicode and UTF-8.png

Qu'est-ce que Unicode

Un jeu de caractères. Gérez en attribuant une valeur entière appelée Sign Position à chaque caractère. Il y a.

Que sont UTF-8, UTF-16, UTF-32?

[Méthode de codage des caractères](https://ja.wikipedia.org/wiki/%E6%96%87%E5%AD%97%E7%AC%A6%E5%8F%B7%E5%8C%96% E6% 96% B9% E5% BC% 8F). Convertit la valeur entière de la position du code en une chaîne d'octets pour une utilisation informatique.

Qu'est-ce qu'un endian

L'ordre dans lequel les octets sont organisés lors de l'enregistrement de données constituées de plusieurs octets en mémoire ou lors de l'envoi et de la réception sur un réseau. Parfois appelé ** ordre des octets **. Disposer du haut pour les gros endians et du bas pour les petits endians.

エンディアン.png

Code de vérification

C'est le code lorsque je l'ai vérifié avec Python lors de la rédaction de cet article.

In [1]: import unicodedata

In [2]: import binascii

In [3]: unicodedata.name('Dépression') #Recherchez le nom
Out[3]: 'CJK UNIFIED IDEOGRAPH-9B31'

In [4]: ord('Dépression') #Vérifiez la position du code
Out[4]: 39729

In [5]: binascii.hexlify('Dépression'.encode('UTF-8')) # UTF-Encode en une chaîne d'octets à 8, puis conversion en représentation hexadécimale
Out[5]: b'e9acb1'

In [6]: binascii.hexlify('Dépression'.encode('UTF-16'))
Out[6]: b'fffe319b'

In [7]: binascii.hexlify('Dépression'.encode('UTF-16LE'))
Out[7]: b'319b'

In [8]: binascii.hexlify('Dépression'.encode('UTF-16BE'))
Out[8]: b'9b31'

In [9]: binascii.hexlify('Dépression'.encode('UTF-32'))
Out[9]: b'fffe0000319b0000'

In [10]: binascii.hexlify('Dépression'.encode('UTF-32LE'))
Out[10]: b'319b0000'

In [11]: binascii.hexlify('Dépression'.encode('UTF-32BE'))
Out[11]: b'00009b31'

In [12]: binascii.hexlify('Plaisir'.encode('UTF-16'))
Out[12]: b'fffeeb5f1f61'

In [13]: binascii.hexlify('Plaisir'.encode('UTF-16LE'))
Out[13]: b'eb5f1f61'

In [14]: binascii.hexlify('Plaisir'.encode('UTF-16BE'))
Out[14]: b'5feb611f'

Recommended Posts

Différence approximative entre Unicode et UTF-8 (et ses compagnons)
Quelle est la différence entre «pip» et «conda»?
À propos de la différence entre "==" et "is" en python
À propos de la différence entre PostgreSQL su et sudo
Quelle est la différence entre Unix et Linux?
BERT peut-il comprendre la différence entre «Ame (bonbons)» et «Ame (pluie)»?
Quelle est la différence entre usleep, nanosleep et clock_nanosleep?
EP 3 Connaître les différences entre octets, str et unicode
Comment utiliser argparse et la différence entre optparse
Différence entre processus et travail
Différence entre "categorical_crossentropy" et "sparse_categorical_crossentropy"
Différence entre régression et classification
Différence entre np.array et np.arange
Différence entre MicroPython et CPython
Différence entre ps a et ps -a
Différence entre return et print-Python
Quelle est la différence entre les liens symboliques et les liens durs?
Comprendre la différence entre l'affectation cumulative aux variables et l'affectation cumulative aux objets
Un résumé approximatif des différences entre Windows et Linux
Différence entre le processus de premier plan et le processus d'arrière-plan compris par principe
Différence entre Ruby et Python Split
Différence entre java et python (mémo)
Différence entre list () et [] en Python
Différence entre SQLAlchemy filter () et filter_by ()
Différence entre == et est en python
Mémorandum (différence entre csv.reader et csv.dictreader)
(Remarque) Différence entre la passerelle et la passerelle par défaut
Différence entre le randint de Numpy et le randint de Random
Différence entre tri et tri (mémorial)
Différence entre la série python2 et la série python3 dict.keys ()
J'ai étudié le comportement de la différence entre lien dur et lien symbolique
[Python] Différence entre fonction et méthode
Différence entre SQLAlchemy flush () et commit ()
Python - Différence entre exec et eval
[Python] Différence entre randrange () et randint ()
[Python] Différence entre trié et trié (Colaboratoire)
[Introduction à Python] Quelle est la différence entre une liste et un taple?
[Xg boost] Différence entre softmax et softprob
différence entre les instructions (instructions) et les expressions (expressions) en Python
[Django ORM] Différence entre values () et only ()
Différences dans la relation entre PHP et Python enfin et quitter
Différence entre @classmethod et @staticmethod en Python
Différence entre append et + = dans la liste Python
Différence entre non local et global en Python
Différence entre la régression linéaire, la régression Ridge et la régression Lasso
[Python] Différence entre la méthode de classe et la méthode statique
Différence entre le fichier env_file docker-compose et le fichier .env
La relation subtile entre Gentoo et pip
[Python3] Basculer entre Shift_JIS, UTF-8 et ASCII
À propos de la relation entre Git et GitHub
[Python Iroha] Différence entre List et Tuple
[python] Différence entre la sortie rand et randn
Différence de vitesse entre wsgi, bouteille et flacon
Différence entre numpy.ndarray et list (dimension, taille)
Différence entre ls -l et la commande cat
Vérification de la différence et de la compatibilité entre keras et tf.keras # 1
Résumé des différences entre PHP et Python
La réponse de "1/2" est différente entre python2 et 3
Différence entre l'utilisation et l'importation sur le langage de bouclier
[python] Différence entre variable et self. Variable dans la classe
Modélisation-estimation de Bayes de la différence entre les deux groupes-