Jugement de codage en Python

Bibliothèque classique

chardet

Présentation de Chardet

Lisez la chaîne d'octets et déduisez l'encodage utilisé à partir de ce modèle.

Il existe deux méthodes de base pour utiliser chardet

Demandez à la fonction `` détecter '' de lire la chaîne d'octets
Si la taille de la chaîne d'octets à lire est trop grande, créez un objet UniversalDetector et chargez-le petit à petit avec la méthode `` `feed```.

Méthode 1

import chardet
from urllib.request import urlopen

with urlopen('http://qiita.com/') as response:
    html = response.read()
    print(chardet.detect(html))  // {'confidence': 0.99, 'encoding': 'utf-8'}

Méthode 2

Interfaces principales du détecteur universel :


  detector.feed```: Une méthode pour lire une chaîne d'octets
  Detector.done: Une propriété pour le jugement final qui devient `` True lorsque la fiabilité dépasse un certain seuil.
  detector.result```: Propriété où le résultat est stocké
  detector.reset```: Méthode pour initialiser l'objet


from chardet.universaldetector import UniversalDetector
from urllib.request import urlopen

detector = UniversalDetector()

with urlopen('http://qiita.com/') as response:
    for l in response:
        detector.feed(l)
        if detector.done:
            break
detector.close()
print(detector.result)  // {'confidence': 0.99, 'encoding': 'utf-8'}

C'est facile à faire, Detector.feed '' pour lire Detector '' ligne par ligne, et `` Detecor.done '' pour vérifier si le jugement est complet. Ensuite, le flux d'affichage du résultat à la fin.
Pour approfondir

[Comment ça marche] dans la documentation chardet (https://chardet.readthedocs.org/en/latest/how-it-works.html)
La première moitié du [Chapitre 15] de Dive Into Python 3 (http://diveintopython3-ja.rdy.jp/case-study-porting-chardet-to-python-3.html)










        
          
          
            Recommended Posts
            

            
            
              

                  Jugement de codage en Python
              
            
            
              
                  Encodage base64 des images en Python 3
              
            
            
              
                  Encodage Python
              
            
            
              
                  Quadtree en Python --2
              
            
            
              
                  Python en optimisation
              
            
            
              
                  CURL en Python
              
            
            
              
                  Métaprogrammation avec Python
              
            
            
              
                  Python 3.3 avec Anaconda
              
            
            
              
                  SendKeys en Python
              
            
            
              
                  Époque en Python
              
            
            
              
                  Discord en Python
              
            
            
              
                  Allemand en Python
              
            
            
              
                  DCI en Python
              
            
            
              
                  tri rapide en python
              
            
            
              
                  nCr en python
              
            
            
              
                  N-Gram en Python
              
            
            
              
                  Programmation avec Python
              
            
            
              
                  Constante en Python
              
            
            
              
                  FizzBuzz en Python
              
            
            
              
                  Sqlite en Python
              
            
            
              
                  Étape AIC en Python
              
            
            
              
                  LINE-Bot [0] en Python
              
            
            
              
                  CSV en Python
              
            
            
              
                  Assemblage inversé avec Python
              
            
            
              
                  Réflexion en Python
              
            
            
              
                  Constante en Python
              
            
            
              
                  nCr en Python.
              
            
            
              
                  format en python
              
            
            
              
                  Scons en Python 3
              
            
            
              
                  Puyopuyo en python
              
            
            
              
                  python dans virtualenv
              
            
            
              
                  PPAP en Python
              
            
            
              
                  Quad-tree en Python
              
            
            
              
                  Réflexion en Python
              
            
            
              
                  Chimie avec Python
              
            
            
              
                  Hashable en Python
              
            
            
              
                  DirectLiNGAM en Python
              
            
            
              
                  LiNGAM en Python
              
            
            
              
                  Aplatir en Python
              
            
            
              
                  Aplatir en python
              
            
            
              
                  Pour définir le codage par défaut sur utf-8 en python
              
            
            
              
                  Liste triée en Python
              
            
            
              
                  AtCoder # 36 quotidien avec Python
              
            
            
              
                  Texte de cluster en Python
              
            
            
              
                  AtCoder # 2 tous les jours avec Python
              
            
            
              
                  Daily AtCoder # 32 en Python
              
            
            
              
                  Daily AtCoder # 6 en Python
              
            
            
              
                  Daily AtCoder # 18 en Python
              
            
            
              
                  Modifier les polices en Python
              
            
            
              
                  Motif singleton en Python
              
            
            
              
                  Opérations sur les fichiers en Python
              
            
            
              
                  Lire DXF avec python
              
            
            
              
                  Daily AtCoder # 53 en Python
              
            
            
              
                  Séquence de touches en Python
              
            
            
              
                  Utilisez config.ini avec Python
              
            
            
              
                  Daily AtCoder # 33 en Python
              
            
            
              
                  Résoudre ABC168D en Python
              
            
            
              
                  Distribution logistique en Python