Python Crawling & Scraping Chapitre 4 Résumé

introduction

Résumé d'apprentissage du «Guide de développement pratique pour la collecte et l'analyse de données Python Crawling & Scraping [Augmented Revised Edition]» Ce chapitre 4 s'intitulait «Méthodes d'utilisation pratique» et se concentrait sur les points à noter lors de la création de robots d'exploration.

4.1 Caractéristiques des chenilles

4.1.1 Crawler avec état

• Si vous souhaitez explorer un site nécessitant une connexion, créez un robot d'exploration prenant en charge les cookies.

• La bibliothèque Requests de Python envoie automatiquement des cookies au serveur en utilisant l'objet Session.

• Referer

• En-têteHTTP pour envoyer l'URL de la page précédemment consultée au serveur

• (Exemple) Lorsque vous accédez à Qiita à partir des résultats de recherche Google, cela ressemble à ceci lorsque vous le vérifiez avec l'outil de vérification de Chrome

4.1.2 Crawler interprétant JavaScript

JavaScript pour explorer les sites créés en tant que SPA (application à page unique) Besoin d'être interprété. Pour ce faire, utilisez des outils tels que Selenium et Puppeteer pour faire fonctionner automatiquement le navigateur. De plus, les navigateurs tels que Chrome et FireFox ont un mode sans tête qui peut être exécuté sans interface graphique, ce qui peut être utile pour créer un robot d'exploration.

4.1.3 Crawler pour un nombre non spécifié de sites Web

Quelque chose comme Googlebot. C'est plus difficile qu'un robot d'exploration qui cible un site spécifique. Un mécanisme qui ne dépend pas de la structure de la page est requis.

4.2 Précautions concernant l'utilisation des données collectées

4.2.1 Droits d'auteur

Droits d'auteur à prendre en compte lors de la création d'un robot → droits de reproduction, droits d'adaptation, droits de transmission publique «La révision de la loi sur le droit d'auteur en 2009 a rendu possible la duplication à des fins d'analyse et de duplication d'informations, d'adaptation et de transmission publique automatique dans le but de fournir des services de moteur de recherche sans l'autorisation du titulaire du droit d'auteur.

4.2.2 Conditions d'utilisation et informations personnelles

Une histoire sur l'observation des termes du site. Les informations personnelles seront gérées conformément à la loi sur la protection des informations personnelles.

4.3 Précautions concernant la charge à la destination de l'exploration

Comment ne pas charger la destination de l'exploration. [Affaire de la bibliothèque centrale de la ville d'Okazaki - Wikipedia](https://ja.wikipedia.org/wiki/Affaire de la bibliothèque centrale de la ville d'Okazaki) Qu'est-il arrivé comme ça

4.3.1 Nombre de connexions simultanées et intervalle d'exploration

--Nombre de connexions simultanées

• Les navigateurs récents ont un maximum de 6 connexions simultanées par hôte, mais le robot obtient plusieurs pages pendant une longue période, il doit donc être réduit.
• Intervalle d'exploration
• Il est habituel de définir un intervalle de 1 seconde ou plus. Exemple: Crawler exploité par la Bibliothèque de l'Assemblée nationale
• S'il existe un moyen d'acquérir des informations autres que HTML, comme RSS / XML, utilisez-le.

4.3.2 Instructions au robot d'exploration par robots.txt

• robots.txt
• Ecrire des instructions au robot d'exploration dans un format standardisé appelé protocole d'exclusion de robots --RobotFile pour l'analyse du fichier robots.txt dans la bibliothèque standard de Python urllib.robotparser A une classe d'analyseur balise meta --robots
• Ecrire des instructions au robot d'exploration dans la balise HTML meta <meta name =" robots "content =" <attribute value> ">
• Les valeurs d'attribut incluent nofollow, qui ne permet pas de suivre les liens dans la page, noarchive, qui ne permet pas d'enregistrer, et noindex, qui ne permet pas aux moteurs de recherche d'indexer.

En ce qui concerne Netkeiba qui gratte toujours, il ne semble y avoir aucune instruction particulière dans le fichier robots.txt ou la balise meta

4.3.3 Plan du site XML

Fichier XML qui indique au robot d'exploration l'URL que vous souhaitez qu'il explore Plus efficace que de suivre des liens et d'explorer Décrire dans la directive Sitemap de robots.txt

4.3.4 Clarification des coordonnées

Les informations de contact telles que l'adresse e-mail et l'URL peuvent être décrites dans l'en-tête User-Agent de la demande envoyée par le robot d'exploration.

4.3.5 Code d'état et gestion des erreurs

La gestion des erreurs est importante afin de ne pas mettre une charge supplémentaire sur la destination de l'exploration Si vous réessayez lorsqu'une erreur se produit, prenez des mesures telles que l'augmentation exponentielle de l'intervalle de relance. Il existe de nombreuses descriptions standard pour la gestion des erreurs, mais elles peuvent être décrites de manière concise en utilisant une bibliothèque appelée ténacité.

4.4 Conçu pour une exécution répétée

4.4.1 Obtenir uniquement les données mises à jour

• Politique de cache HTTP
• Le serveur HTTP peut spécifier la politique de cache en détail en ajoutant un en-tête lié au cache à la réponse.
• Ces en-têtes peuvent être divisés en deux types: "cache fort" et "cache faible". --Strong cache-> Cache-Control (spécification détaillée comme s'il faut mettre en cache), Expire (date d'expiration du contenu) Le côté client n'envoie pas de demande tant que le cache est valide. Utilisez la réponse mise en cache pendant la date d'expiration. --Weak cache → Last-Modified (date de la dernière modification), ETag (identifiant) Le côté client envoie une requête à chaque fois, mais s'il n'a pas été mis à jour, il utilise la réponse mise en cache.
• En Python, une bibliothèque appelée CacheControl peut gérer de manière concise le traitement lié au cache pip install" CacheControl [filecache] "

4.4.2 Détecter les changements dans la destination de l'exploration

--Valider avec une expression régulière --Valider avec le schéma JSON

• En Python, vous pouvez écrire des règles de validation au format JSON appelées Schéma JSON en utilisant une bibliothèque appelée jsonschema pip install jsonschema

Si un changement peut être détecté de cette manière, le robot d'exploration sera arrêté par notification par e-mail.

4.5 Résumé

réduction

en conclusion

Je n'étais pas motivé et l'intervalle d'affichage était vacant, mais pour le moment, c'était un article qui confirmait la survie (?)