Lorsqu'une erreur se produit dans le scraping python (requêtes)

À propos de [Errno 11001]

Quand j'ai essayé de gratter en utilisant python en interne, j'ai eu [Errno 11001].

Résolu en spécifiant un proxy.

import requests
from bs4 import BeautifulSoup

proxies = {
'http': 'http://123.45.678.000:0000',
'https': 'http://123.45.678.000:0000',
}

url = 'https://ja.wikipedia.org/wiki/Python'
res = requests.get(url, verify=False, proxies=proxies)
soup = BeautifulSoup(res.text)

soup
<!DOCTYPE html>
<html class="client-nojs" dir="ltr" lang="ja">
<head>
<meta charset="utf-8"/>
<title>Python - Wikipedia</title>
<script>document.documentElement.className="client-js";RLCONF={"wgBreakFrames":!1,"wgSeparatorTransformTable":["",""],"wgDigitTransformTable":["",""],"wgDefaultDateFormat":"ja","wgMonthNames":["","janvier","février","Mars","avril","Peut","juin","juillet","août","septembre","octobre","1janvier","1février"],"wgMonthNamesShort":["","janvier","février","Mars","avril","Peut","juin","juillet","août","septembre","octobre","1janvier","1février"],"wgRequestId":"XhwEyQpAICIAABeLnhMAAADL","wgCSPNonce":!1,"wgCanonicalNamespace":"","wgCanonicalSpecialPageName":!1,"wgNamespaceNumber":0,"wgPageName":"Python","wgTitle":"Python","wgCurRevisionId":75653560,"wgRevisionId":75653560,"wgArticleId":993,"wgIsArticle":!0,"wgIsRedirect":!1,"wgAction":"view","wgUserName":null,"wgUserGroups":["*"],"wgCategories":["Articles contenant des sources non valides/2018","Langage orienté objet","Langage de script","Logiciels open source","Python","Examen d'ingénieur d'information de base"],"wgPageContentLanguage":"ja","wgPageContentModel":

・ ・ ・

Recommended Posts

Lorsqu'une erreur se produit dans le scraping python (requêtes)
Que faire si vous obtenez une erreur lors de l'importation de matplotlib en Python (Mac)
J'obtiens une erreur d'importation avec Python Beautiful Soup
J'obtiens une erreur lorsque je mets opencv dans pyautoGUI
Que faire si vous obtenez une erreur lors de l'installation de python avec pyenv
[Python] Choses à vérifier lorsqu'une erreur de décodage Unicode apparaît dans Django
Que faire si vous obtenez une erreur OpenSSL lors de l'installation de Python 2 avec pyenv
Résolution d'une erreur lors de la mise en place de pygame dans python3 sur raspberry pi
Quand j'obtiens une erreur avec Pylint sur Windows Atom
Que faire si vous obtenez une erreur lors de l'exécution de "certbot renouveler" dans l'environnement CakePHP
Que faire si vous obtenez une erreur lors du chargement de mnist
Quand j'obtiens une erreur de pilote chrome dans Selenium
[python] [vscode] Lorsque vous vous fâchez avec space-tab-mixed
Erreur lors de la tentative d'installation de psycopg2 en Python
Obtenir la date en Python
J'obtiens une erreur lorsque je mets un plug-in Python dans Visual Studio Code sous l'environnement pyenv
Solution de contournement si vous obtenez une erreur lors de la tentative d'installation de PySide avec pip
Dans le tutoriel Chainer, j'obtiens une erreur lors de l'importation d'un package. (moquer)
J'ai eu une erreur lorsque j'ai mis opencv dans python3 avec Raspeye [Remedy]
[python] Que faire si vous obtenez une erreur avec send_keys dans le chrome sans tête
Si vous obtenez une longue erreur lors de la tabulation d'un shell interactif avec Anaconda
Que faire si vous obtenez une erreur en essayant d'envoyer un message dans tasks.loop () immédiatement après le démarrage
J'obtiens une erreur en essayant meinheld + WebSocket + mongodb
Si vous rencontrez une "erreur de décodage Unicode" en Python
Que faire si vous obtenez une erreur d'importation lors de l'importation de matplotlib avec Jupyter
J'obtiens une erreur lorsque j'essaie d'élever Python à la série 3 en utilisant pyenv dans Catalina
Que faire si vous exécutez python sur IntelliJ et quittez avec une erreur
Obtenez des commentaires YouTube en Python
Tri rapide d'un tableau en Python 3
Grattage au sélénium en Python
Obtenez le mois dernier en Python
[Python] Scraping dans AWS Lambda
Grattage avec chromedriver en python
Grattage avec du sélénium en Python
Grattage avec Tor en Python
Obtenir la taille du terminal en Python
Obtenir explicitement EOF en python
Attention lorsque os.mkdir en Python
Obtenez des notes Evernote en Python
Obtenez des synonymes japonais avec Python
Vous serez ingénieur dans 100 jours - Jour 27 - Python - Exercice Python 1
Vous serez ingénieur dans 100 jours - Jour 34 - Python - Exercice Python 3
J'ai eu une erreur dans vim ou zsh dans la série Python 3.7
Vous serez ingénieur dans 100 jours - Jour 31 - Python - Python Exercice 2
Que faire lorsque vous obtenez une erreur indiquant «Échec temporaire de la résolution du nom» sous Linux
Que faire lorsque swagger-codegen est terminé avec python et Erreur d'importation: aucun module nommé n'apparaît
Lorsque Erreur d'exécution: la profondeur de récursivité maximale est dépassée lors du décapage d'un objet apparaît dans Python Pickle
Que faire si vous obtenez une erreur non définie lorsque vous essayez d'utiliser pip avec pyenv
Obtenez des données LeapMotion en Python.
[Sous-processus] Lorsque vous souhaitez exécuter un autre programme Python en code Python
Si vous obtenez une erreur: ce port est déjà utilisé. Dans Django
Précautions lors de l'utilisation de Pit avec Python
Si vous êtes bloqué dans Impossible de charger mkl_intel_thread.dll en Python sous Windows