Obtenez la page Web Python, encodez et affichez les caractères

supposition

Je pense qu'il existe différentes méthodes, mais c'est la méthode de base dans les bases.

Obtenir la page WEB

Utilisez les requêtes d'une bibliothèque tierce. Vous pouvez également l'obtenir à partir du module urllib.request de la bibliothèque standard. Avec la bibliothèque standard, seules les requêtes GET et POST de base. L'ajout d'en-têtes HTTP et d'authentification de base est gênant. Alors, utilisez la bibliothèque "Requests".

import requests

# GET
r = requests.get(URL)
#Paramètre avec GET
r = requests.get(URL, params={'key': 'val'})

# POST
p = requests.post(URL, data={'key': 'val'})

#Authentification de base
b = requests.get(URL, auth=('Identifiant d'utilisateur', 'mot de passe'))

Obtenir et encoder la page WEB

Estimer le codage à partir des octets dans le corps de la réponse

import sys
import requests

url = sys.argv[1]
r = requests.get(url)
#r.json()Vous pouvez également l'obtenir avec json

r.encoding = r.apparent_encoding
print(r.text)

Obtenez l'encodage de la balise Meta

import sys
import re
import requests

url = sys.argv[1]
r = requests.get(url)

#En supposant que le jeu de caractères est au début, seul le début est décodé sous forme de chaîne ASCII
scanned_text = r.content[:1024].decode('ascii', errors='replace')

#Extraire la valeur charset avec une expression régulière de la chaîne de caractères décodée
match = re.search(r'charset=["\']?([\w-]+)', scanned_text)
if match:
    r.encoding = match.group(1)
else:
    r.encoding = 'utf-8'

print(r.text)

Recommended Posts

Obtenez la page Web Python, encodez et affichez les caractères
Récupérer une image d'une page Web et la redimensionner
[Python3] Prenez une capture d'écran d'une page Web sur le serveur et recadrez-la davantage
Python VBA pour obtenir une capture de la page WEB entière avec Selenium
[Mémo personnel] Obtenez des données sur le Web et faites-en un DataFrame
Créer une carte Web en utilisant Python et GDAL
Lancer un serveur Web avec Python et Flask
Écrivons un programme Python et exécutons-le
Extraire des données d'une page Web avec Python
Essayez d'obtenir une page Web et un fichier JSON en utilisant la bibliothèque Requests de Python
Recevoir des e-mails de Gmail et étiqueter avec Python3
Récupérez la chaîne correspondante dans l'expression régulière et réutilisez-la lors du remplacement sur Python3
3-3, chaîne Python et code de caractère
Associez Python Enum à une fonction pour la rendre appelable
Obtenez de manière récursive la liste Excel dans un dossier spécifique avec python et écrivez-la dans Excel.
Obtenez une adresse IP globale et exportez-la vers des feuilles de calcul Google
Exploration Web, scraping Web, acquisition de caractères et sauvegarde d'image avec python
Les bases de l'apprentissage Python ~ Comment générer (afficher) une chaîne de caractères ~
[python] Obtenir le quotient et le surplus
Afficher Google Maps sur la page Web (Spring Boot + Thymeleaf)
Afficher la page Web avec FastAPI + uvicorn + Nginx (conversion SSL / HTTPS)
[python, ruby] sélénium-Obtenez le contenu d'une page Web avec le pilote Web
Supprimer un caractère spécifique en Python s'il s'agit du dernier
Obtenez des données de VPS MySQL avec Python 3 et SQL Alchemy
J'ai écrit un script pour extraire les liens de pages Web en Python
Une fête populaire sur le Web, Python détecte un état silencieux et joue une voix.
Python a + = b et a = a + b sont différents
Obtenez une capture d'écran Web avec python
Python2 str / unicode et encoder / décoder
[Python] renvoie A [ou / et] B
Python - Obtenez le taux de bitcoin BTC / JPY à partir de bitflyer à intervalles réguliers et enregistrez-le dans un fichier
Comment saisir une chaîne de caractères en Python et la sortir telle quelle ou dans la direction opposée.
2.Faites un arbre de décision à partir de 0 avec Python et comprenez-le (2. Bases du programme Python)
Afficher une page Web avec FastAPI + uvicorn + Nginx (fonction Modèles de Jinja2)
Jusqu'à ce que vous obteniez un instantané du service Amazon Elasticsearch et que vous le restauriez
Jetons JavaScript et écrivons un front-end Web en Python!
Un programme python qui redimensionne une vidéo et la transforme en image
Créez un environnement Python 3 avec pyenv sur Mac et affichez des graphiques Network X
Créez un arbre de décision à partir de 0 avec Python et comprenez-le (4. Structure des données)
Créez un arbre de décision à partir de 0 avec Python et comprenez-le (5. Entropie des informations)
Je souhaite créer une application Web en utilisant React et Python flask
Calculer et afficher le poids standard avec python
Afficher une liste d'alphabets en Python 3
Afficher les diagrammes matplotlib dans une application Web
J'ai fait un compteur de caractères avec Python
Un mémo contenant Python2.7 et Python3 dans CentOS
# 5 [python3] Extraire des caractères d'une chaîne de caractères
Connectez beaucoup de Python ou et et
[Python] Comment inverser une chaîne de caractères
Démonisez une application Web Python avec Supervisor
Comment obtenir stacktrace en python
[Note personnelle] Scraping de pages Web en python3
[Python] Une application web rapide avec Bottle!
[python] Obtenir une liste de variables d'instance
Obtenez un jeton pour conoha avec python