Einführung

Lernzusammenfassung von "Python Crawling & Scraping [Augmented Revised Edition] Praktischer Entwicklungsleitfaden für die Datenerfassung und -analyse" Dieses Kapitel 4 trug den Titel "Methoden für den praktischen Gebrauch" und konzentrierte sich auf Punkte, die beim Erstellen von Crawlern zu beachten sind.

4.1 Crawler-Eigenschaften

4.1.1 Crawler mit Status

Wenn Sie eine Site crawlen möchten, für die eine Anmeldung erforderlich ist, erstellen Sie einen Crawler, der Cookies unterstützt.
Die Anforderungsbibliothek von Python sendet mithilfe des Sitzungsobjekts automatisch Cookies an den Server.
Referer --HTTP-Header zum Senden der URL der zuvor angezeigten Seite an den Server
(Beispiel) Wenn Sie über die Google-Suchergebnisse auf Qiita zugreifen, sieht es so aus, wenn Sie es mit dem Überprüfungstool von Chrome überprüfen

4.1.2 Crawler interpretiert JavaScript

JavaScript zum Crawlen von Websites, die als SPA (Single Page Application) erstellt wurden Muss interpretiert werden. Verwenden Sie dazu Tools wie Selenium und Puppeteer, um den Browser automatisch zu bedienen. Darüber hinaus verfügen Browser wie Chrome und FireFox über einen Headless-Modus, der ohne GUI ausgeführt werden kann. Dies kann beim Erstellen von Crawlern hilfreich sein.

4.1.3 Crawler für eine nicht angegebene Anzahl von Websites

So etwas wie Googlebot. Es ist schwieriger als ein Crawler, der auf eine bestimmte Site abzielt. Ein Mechanismus, der nicht von der Seitenstruktur abhängt, ist erforderlich.

4.2 Vorsichtsmaßnahmen bezüglich der Verwendung der gesammelten Daten

4.2.1 Urheberrecht

Urheberrechte, die beim Erstellen eines Crawlers zu beachten sind → Vervielfältigungsrechte, Anpassungsrechte, öffentliche Übertragungsrechte `Die Überarbeitung des Urheberrechtsgesetzes im Jahr 2009 hat es ermöglicht, Vervielfältigungen zum Zwecke der Informationsanalyse und Vervielfältigung, Anpassung und automatischen öffentlichen Übermittlung zum Zwecke der Bereitstellung von Suchmaschinendiensten ohne Erlaubnis des Urheberrechtsinhabers durchzuführen.

4.2.2 Nutzungsbedingungen und persönliche Informationen

Eine Geschichte über die Einhaltung der Bedingungen der Website. Personenbezogene Daten werden auf der Grundlage des Gesetzes zum Schutz personenbezogener Daten verwaltet.

4.3 Vorsichtsmaßnahmen bezüglich der Last am Crawling-Ziel

So belasten Sie das Crawling-Ziel nicht. [Fall der Zentralbibliothek der Stadt Okazaki - Wikipedia](https://ja.wikipedia.org/wiki/Okazaki Fall der Zentralbibliothek der Stadt) Was ist so passiert?

4.3.1 Anzahl gleichzeitiger Verbindungen und Durchforstungsintervall

Anzahl gleichzeitiger Verbindungen
Neuere Browser haben maximal 6 gleichzeitige Verbindungen pro Host, aber der Crawler erhält für eine lange Zeit mehrere Seiten, daher sollte diese reduziert werden. --Crawl-Intervall
Es ist üblich, ein Intervall von 1 Sekunde oder mehr einzustellen. Beispiel: Crawler, der von der National Assembly Library betrieben wird
Wenn es eine Möglichkeit gibt, andere Informationen als HTML wie RSS / XML zu erhalten, verwenden Sie diese.

4.3.2 Anweisungen an den Crawler von robots.txt

robots.txt
Schreiben Sie Anweisungen an den Crawler in einem standardisierten Format namens Robots Exclusion Protocol --RobotFile für das Parsen von robots.txt in Pythons Standardbibliothek urllib.robotparser Hat eine Parser-Klasse --robots Meta-Tag
Schreiben Sie Anweisungen an den Crawler im HTML-Meta-Tag "<meta name =" robots "content =" ">"
Zu den Attributwerten gehören "nofollow", bei dem die folgenden Links auf der Seite nicht zulässig sind, "noarchive", bei dem das Speichern nicht möglich ist, und "noindex", bei dem Suchmaschinen nicht indizieren können.

In Bezug auf Netkeiba, die immer kratzt, scheint es in robots.txt oder im Meta-Tag keine besonderen Anweisungen zu geben

4.3.3 XML-Site-Map

XML-Datei, die dem Crawler die URL mitteilt, die gecrawlt werden soll Effizienter als Links zu folgen und zu crawlen Beschreiben Sie in der Sitemap-Direktive von robots.txt

4.3.4 Klärung der Kontaktinformationen

Kontaktinformationen wie E-Mail-Adresse und URL können im User-Agent-Header der vom Crawler gesendeten Anforderung beschrieben werden.

4.3.5 Statuscode und Fehlerbehandlung

Die Fehlerbehandlung ist wichtig, um das Crawling-Ziel nicht zusätzlich zu belasten Wenn Sie es im Fehlerfall erneut versuchen, ergreifen Sie Maßnahmen wie das exponentielle Erhöhen des Wiederholungsintervalls. Es gibt viele Standardbeschreibungen für die Fehlerbehandlung, die jedoch mithilfe einer Bibliothek namens Tenacity kurz beschrieben werden können.

4.4 Zur wiederholten Ausführung ausgelegt

4.4.1 Nur aktualisierte Daten abrufen

--HTTP-Cache-Richtlinie

Der HTTP-Server kann die Cache-Richtlinie detailliert angeben, indem er in der Antwort einen Header zum Cache hinzufügt.
Diese Header können in zwei Typen unterteilt werden: "starker Cache" und "schwacher Cache". --Strong cache-> Cache-Control (detaillierte Spezifikation, z. B. ob zwischengespeichert werden soll), Expires (Ablaufdatum des Inhalts) Die Clientseite sendet keine Anforderung, solange der Cache gültig ist. Verwenden Sie die zwischengespeicherte Antwort während des Ablaufdatums.
Schwacher Cache → Letzte Änderung (Datum der letzten Änderung), ETag (Kennung) Die Clientseite sendet jedes Mal eine Anforderung, aber wenn sie nicht aktualisiert wurde, verwendet sie die zwischengespeicherte Antwort.
In Python kann eine Bibliothek namens CacheControl die Cache-bezogene Verarbeitung präzise "pip install" CacheControl [filecache] "" verarbeiten

4.4.2 Änderungen am Crawling-Ziel erkennen

Mit regulärem Ausdruck validieren
Mit JSON-Schema validieren
In Python können Sie Validierungsregeln im JSON-Format namens JSON Schema mithilfe einer Bibliothek namens jsonschema pip install jsonschema schreiben

Wenn eine Änderung auf diese Weise erkannt werden kann, wird der Crawler durch Benachrichtigung per E-Mail beendet.

4.5 Zusammenfassung

Kürzung

abschließend

Ich war nicht motiviert und das Posting-Intervall war frei, aber vorerst war es ein Artikel, der das Überleben bestätigte (?)

Python Crawling & Scraping Kapitel 4 Zusammenfassung