[PYTHON] In 100 Tagen sind Sie Ingenieur. ――Tag 70 ――Programmieren ――Über das Schaben

Klicken Sie hier bis gestern

Diesmal über das Schaben.

Was ist Schaben?

Was ist "kratzen"?

"Scraping" ist eine Technologie zum Erfassen von Daten von Websites.

"Scraping" selbst kann in verschiedenen Sprachen durchgeführt werden.

Kenntnisse zum Schaben erforderlich

Grob gesagt ist es nützlich, dieses Wissen zu haben.

** Kommunikationsmechanismus ** Kommunikation ist erforderlich, um Informationen vom WEB zu erhalten. Es ist notwendig, den HTTP-Kommunikationsmechanismus zu unterdrücken, der die Grundlage des Internets bildet.

HTML、Javascript、CSS Die Website besteht aus HTML, Javascript und CSS. Es ist notwendig, den Mechanismus der Komponenten auf der Site zu unterdrücken.

** Volltextsuche und Übereinstimmung mit regulären Ausdrücken ** Wenn Informationen von der Website abgerufen werden, werden nur die erforderlichen Informationen extrahiert.

Dabei müssen Sie feststellen, ob Sie über die benötigten Informationen verfügen und ob diese mit den benötigten Informationen übereinstimmen. Die Kenntnis der regulären Ausdrücke ist erforderlich, um den Zustand beurteilen zu können.

** Programmiersprache ** So greifen Sie effizient auf Websites zu und analysieren die Syntax Programmierkenntnisse im Allgemeinen und Kenntnisse der Merkmale von Programmiersprachen sind erforderlich.

Bibliothek Es gibt normalerweise Tools (Bibliotheken) zum Scraping in jeder Programmiersprache. Das Erstellen eines Programms von Grund auf ist ineffizient und erfordert das Erlernen der Verwendung der Bibliothek.

** Data Mining Algorithmus ** Kenntnisse der Datenanalyse sind erforderlich, um Informationen zu erfassen und nur die erforderlichen Teile effizient auszugeben.

** DOM-Analyse ** DOM (Document Object Model) ist eine Standardspezifikation zum Bearbeiten von XML-Dokumenten. Ermöglicht der Programmiersprache, Elemente und Text in XML-Dokumenten zu bearbeiten. DOM ist eine Methode zum Lesen des gesamten XML-Dokuments und zum Analysieren jedes Elements im Dokument als baumstrukturierter Knoten.

Das Schaben erfordert Kenntnisse über DOM.

** HTML-Parser (Analyse) ** Extrahieren nur des Textteils von HTML oder Extrahieren des Inhalts eines bestimmten Tags

Internet sicherheit

Aufgrund des bequemen Zugriffs auf die Website und des Erwerbs von Informationen sind Sicherheitsprobleme unvermeidlich.

Wenn Sie es falsch verwenden, können Sie der Site eine Präsenz geben oder verhaftet werden. Du musst vorsichtig sein.

Schaben ist eine nützliche Technik, aber Sie sollten Folgendes beachten:

** Verletzung der Nutzungsbedingungen ** Wenn in den Nutzungsbedingungen auf der Website einer anderen Person "Kein Schaben" angegeben ist Das Verschrotten kann gegen die Nutzungsbedingungen verstoßen und zu Schadensersatzansprüchen führen.

Die folgenden Maßnahmen sind jedoch erforderlich, damit die Nutzungsbedingungen beim Benutzer wirksam werden. Zeigen Sie dem Benutzer die Nutzungsbedingungen und lassen Sie ihn auf Zustimmung klicken, um die Transaktion zu starten.

Wenn Sie Inhalte entfernen möchten, die jeder sehen kann, ohne sich als Mitglied registrieren zu müssen Es ist möglich, dass die oben genannten Nutzungsbedingungen nicht verletzt werden. Bitte beachten Sie jedoch, dass sich das Gesetz täglich ändert.

Außerdem können Scraped-Sites den Zugriff auf die Crawler-Website einschränken Das Crawlen, wenn Maßnahmen (wie robot.txt) ergriffen wurden, kann zivilrechtlich rechtswidrig sein.

Urheberrechte © Da die durch Scraping erworbene Menge an Inhalten enorm ist, ist es nicht realistisch, für jeden Inhalt eine Zustimmung einzuholen.

Ausnahmsweise scheint das Kopieren zur Informationsanalyse ohne Zustimmung des Inhabers des Urheberrechts zulässig zu sein (Artikel 47-7 des Urheberrechtsgesetzes).

Die Übertragung der gesammelten Inhalte auf eine andere Person (einschließlich Online-Verbreitung) durch Scraping verstößt gegen das Urheberrecht.

Wenn der Inhalt Originalität hat, wird er als "Werk" nach dem Urheberrecht geschützt.

Das Kopieren oder Speichern solcher Inhalte auf dem Server Ihres Unternehmens stellt eine Urheberrechtsverletzung ohne Zustimmung des Copyright-Inhabers dar.

** Gefälschte Geschäftsstörung ** Sie werden in regelmäßigen Abständen auf die Website zugreifen. Wenn das Intervall jedoch kürzer wird, Die Belastung des Servers der Site kann stark werden, was den normalen Site-Betrieb beeinträchtigen kann.

In einem solchen Fall wird davon ausgegangen, dass dies das Geschäft des Website-Betreibers beeinträchtigt. Es besteht die Möglichkeit, dass eine Gebühr für eine falsche Buchführung erhoben wird (Artikel 233 des Strafgesetzbuchs).

Fall der Zentralbibliothek der Stadt Okazaki

Um März 2010 von den Bürgern zum Sammlungssuchsystem auf der Website der Okazaki City Library
Es scheint, dass es eine Beschwerde gab, die ich nicht verbinden konnte
Danach wurde es schwierig, die Website nacheinander zu durchsuchen.

Am 15. April desselben Jahres erhielt die Bibliothek ärgerlichen Zugang.
Ein Mann, der der Okazaki-Station der Präfekturpolizei Aichi einen Schadensbericht vorlegte und am 25. Mai Zugang hatte
Angenommen, Sie haben absichtlich eine Hochfrequenzanforderung an das Sammlungssuchsystem gesendet
Er wurde wegen des Verdachts der Behinderung gefälschter Geschäfte festgenommen.

Es gibt keine Illegalität in dem von Männern erstellten Crawler Es gab ein Problem mit dem Sammlungssuchsystem der Bibliothek.

Die Website der Okazaki Municipal Central Library ist jedoch ein Experte als Website der lokalen Regierung. Weil es unvorstellbar verletzlich war Dies ist eine Kombination aus der Nachlässigkeit der Gemeinden und der Unwissenheit des Verantwortlichen.

Ursprünglich ist die schlecht betriebene lokale Regierung schlecht. Dies ist möglicherweise gesetzlich nicht der Fall.

Die Infrastruktur der lokalen Regierungen und der nationalen Beziehungen ist sehr kindisch und wird oft nicht richtig betrieben. Es ist möglicherweise nicht als Kratzziel vorzuziehen. Seien Sie vorsichtig beim Schaben.

Weitere Hinweise

Es ist ein Verstoß gegen die Nutzungsbedingungen, Web-Scraps und Crawlen von Amazon-Produktseiten durchzuführen. Gibt es ein rechtliches Problem? ``

Handlungen, die den Server des anderen Teilnehmers belasten, können Geschäftsstörungen wie gefälschten Geschäftsstörungen oder Computerschäden entsprechen.

Es ist erforderlich, Vorsichtsmaßnahmen zu treffen, z. B. die nächste Verarbeitung nach Erhalt einer Antwort durchzuführen.

Da die Seite dupliziert wird, kann es auch zu einem Urheberrechtsverletzungsproblem kommen, wenn es über den Bereich der privaten Vervielfältigung hinausgeht. Sie müssen es im Rahmen Ihrer eigenen Browsing- und Datenanalysezwecke halten.

Erstellen Sie ein Tool zum Web-Scraping und Crawlen von Amazon-Produktseiten Ist es ein Verstoß gegen die Nutzungsbedingungen, zu vertreiben und zu verkaufen? Gibt es ein rechtliches Problem? Es hängt davon ab, wie Sie die Nutzungsbedingungen schreiben, aber ob nur die Verwendung des Tools verboten ist Ich denke, dass die Verwendung des Tools nach Erhalt der Distribution gegen die Regeln verstößt. ``

Je nachdem, wie es verwendet wird, kann es bei Betriebsunterbrechungen oder Urheberrechtsverletzungen hilfreich sein.

Zusammenfassung

Lassen Sie uns zunächst die Vorsichtsmaßnahmen unterdrücken, bevor Sie kratzen. Wenn Sie den Code plötzlich ausführen, kann dies schwierig sein.

30 Tage, bis Sie Ingenieur werden

Informationen zum Autor

HP von Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython