[PYTHON] Ein Briefing über die Wut, die durch das Schaben verursacht wurde

Ich bin ein 15-jähriger Absolvent. Ich habe gehört, dass es in Ordnung ist, eine verwandte Person zu sein, deshalb möchte ich die Geschichte des wütenden Zorns über das Schaben während der SFC-Ära vorstellen. image.png

Letztes Buch

Wir werden über die Ergebnisse des Scrapings der Mundpropaganda des Unternehmens und die auf dem Campus-Server ausgetauschten Daten berichten.

Wann man wütend wird

Das passierte, als ich arbeitete. Ich trat in SFC ein und begann mit dem Programmieren. Der Begriff "Arbeitszeit" ist die Zeit, in der ich gerade die Grundlagen von Emotionen, Obpros, Spielprofis usw. loswurde und sagte: "Ich habe die Programmierung vollständig verstanden." .. Insbesondere war ich gut in der Datenanalyse, und es war eine Zeit, in der ich Nachforschungen und Hobbys anstellte, um Daten im Web mithilfe einer Technik namens Scraping zu sammeln und zu analysieren und zu visualisieren.

Hintergrund der Wut

Keio Gijuku, insbesondere SFC, nennt sich "Practical Office". Der praktische Einsatz von Scraping- und Datenanalysetechniken war schon immer in meinen Gedanken. Zu dieser Zeit befand ich mich, wie oben erwähnt, in der Beschäftigungsphase, daher kam mir die Idee: "Ja, lasst uns eine wissenschaftliche Beschäftigung aufnehmen."

Zu dieser Zeit gab es eine Mundpropaganda-Site eines Unternehmens, die ich oft benutzte, und diese Site hatte sozusagen viele quantitative und qualitative Daten, es war sozusagen ein "Firmen-Food-Log". Die Studenten der Arbeitssuche konnten die kostenpflichtigen Funktionen für einen bestimmten Zeitraum kostenlos nutzen, was sehr hilfreich war. Ich beschloss, dies in eine Datenbank zu stellen, eine Empfehlungs-Engine zu erstellen und mit der Implementierung fortzufahren.

Das Schaben ist eine ziemlich vielseitige Technik. Während allgemeine Personen Daten im Web kopieren und einfügen, werden alle Daten herausgezogen. Sehr lustig.

Ursache der Wut

Bis zu diesem Zeitpunkt war es nicht schlecht. (Vielleicht war es nicht in Bezug auf die Nutzungsbedingungen) Als ich jedoch in guter Verfassung war, gab ich es dem Campus-Server mit Berechtigungen, auf die jeder zugreifen konnte. Außerdem habe ich es einem Freund geschickt, indem ich es auf Twitter erwähnt habe.

Es war der Betreiber der Jobwechsel-Site, der sich dem entzogen hat. An diesem Tag kam DM und sagte: "Löschen Sie und schreiben Sie ein Memorandum, dass ich schlecht war."

Inhalt des Memorandums

――Was ich getan habe, war eine Handlung, die die Nutzungsbedingungen übertroffen hat. ――Wir zahlen dem Betreiber den vollen Schaden durch die Weitergabe dieser Daten.

Es war ein Inhalt, der die Schüler unruhig machte. Ich wurde gebeten, ein Dokument einzureichen, das rechtlich bindend zu sein scheint, sei es ein Siegel oder ein eingetragenes Siegel.

Natürlich wurden bis jetzt keine Schadensersatzansprüche geltend gemacht, aber ich war zu dieser Zeit ein Jobjäger, was mich lange Zeit unruhig machte.

Die Wirksamkeit dieses Memorandums ist noch nicht gut verstanden. Um ehrlich zu sein, habe ich immer noch das schlechte Gefühl, dass ich viel Kraft für Studenten gespielt habe. (Natürlich halte ich es aus Sicht eines Unternehmens jetzt für notwendig, Stakeholder wie Aktionäre und Mitarbeiter zu schützen.)

Tatsächlich haben die Gesetze zum Scraping andere Feinheiten, wie zum Beispiel das Problem der Serverlast auf der anderen Seite. Für diejenigen, die täglich kratzen, wird empfohlen, dass Sie mindestens die gesetzlichen Bestimmungen auf den folgenden Websites überprüfen und konservatives Schaben durchführen. Ist Schaben illegal? Ein Anwalt erklärt drei rechtliche Fragen und Gegenmaßnahmen in 5 Minuten | Topcourt International Law Office

Für Seiten, auf die erst nach dem Anmelden zugegriffen werden kann, haben wir sie nicht mit Bedacht gestrichen.

Später reden

Es tut mir leid, das jetzt zu sagen, aber ich persönlich habe die Scraping-Daten weiterhin verwendet und die Empfehlungs-Engine war ein großer Erfolg (obwohl es eine sehr schäbige und primitive Implementierung war). Da ich ein Student ohne Achse war, gab ich, als ich einen Job bekam, ES von oben in der empfohlenen Reihenfolge aus, und schließlich bekam ich ein Jobangebot und bekam einen Job bei der Firma, der um den 3. Platz empfohlen wurde. (Abgesehen davon ist dies eine Interpretation, dass ich mich dem [blinden Fenster] von Joharis Fenster nähern konnte (https://lightworks-blog.com/johari-window#3-3))

Mein Konto wurde übrigens aus irgendeinem Grund nicht gesperrt.

Schließlich

Am Ende war es ein Happy End, aber ich hatte Angst, als das Memorandum geschrieben wurde. Ich hoffe aufrichtig, dass Sie mit den Daten und Skripten sicher umgehen und interessante Analysen durchführen.

Recommended Posts

Ein Briefing über die Wut, die durch das Schaben verursacht wurde
Hinweise zum Anpassen der Diktatlistenklasse
Hinweis zum Standardverhalten von collate_fn in PyTorch
Ein Hinweis zum Überprüfen der Verbindung zum Lizenzserver-Port
Festpunktbeobachtung bestimmter Daten im Web durch automatische Ausführung eines Webbrowsers auf dem Server (Ubuntu16.04) (2) -Web Scraping-
Hinweise zum Aktivieren von PostgreSQL mit Django
[Python] Ein Fortschrittsbalken auf dem Terminal
Ein Memo, dass ich das Pyramid Tutorial ausprobiert habe
Ausführungsumgebung im Web von "Project Jupyter"
Schreiben Sie eine Notiz über die Python-Version von Python Virtualenv
Berechnen Sie die Wahrscheinlichkeit von Ausreißern auf den Box-Whiskern
Holen Sie sich Qiitas "Gefällt mir" -Liste durch Schaben
Ein Hinweis zur neuen Stilbasisklasse
Erstellen Sie eine GUI auf dem Terminal mit Flüchen
Ich habe ein wenig über die Klasse recherchiert
Ein Hinweis zur Bibliotheksimplementierung, in der Hyperparameter mithilfe der Bayes'schen Optimierung in Python untersucht werden