[PYTHON] Erstellung von Schabewerkzeugen
Dies ist Qiitas erster Beitrag. Vielen Dank.
Selbsteinführung
31 Jahre alt ♂
Abschluss am Institut für Informationswissenschaft einer nationalen Universität.
22 Jahre Mitglied einer unabhängigen SIer. Wohnhaft in einem Lebensmittelgroßhandelsunternehmen.
26 Jahre Umzug in die Informationssystemabteilung eines Lebensmittelgroßhandelsunternehmens.
Bis jetzt
Wie wollten Sie Python lernen ?
Übergabe an die Planung der Informationssystemabteilung eines Lebensmittelgroßhandelsunternehmens
Ich habe einen Vorschlag gemacht, AI einzuführen.
KI-Anbieter sind jedoch zu teuer.
Ich wurde von der Benutzerabteilung entlassen, wenn dies nicht kosteneffektiv war.
Es war ein Komplex, der nur eine Legacy-Entwicklung war.
Ich fragte mich, ob ich einen Vorschlag machen könnte, indem ich selbst tiefes Lernen einbeziehe.
Ich habe angefangen, Python zu studieren.
Begann Python zu studieren, lernte das Schaben,
Ich dachte, dies sei gefragt, also versuchte ich, daraus ein Werkzeug zu machen.
Informationen zu Scraping-Tools
Das Lebensmittelgroßhandelsunternehmen verfügt über mehr als 50 Filialen und mehr als 100 Geschäfte, von denen jedes unterschiedliche Kunden hat. Die Abteilung für Informationssysteme konnte nicht alles abwickeln, sodass jedes Geschäft über IT-Kenntnisse und Geduld verfügt. Entwarf, verwendbar zu sein, wenn es gibt.
Ausführungsmethode
Verteilen Sie die Batch-Datei an den Start. Wenn Sie morgens Ihren PC starten, führen Sie das Python-Programm aus der Batch-Datei aus. Die Informationen jedes Kunden werden erfasst. Wenn ein Unterschied zum vorherigen Erfassungsinhalt besteht, werden die URL und die neuen Informationen in einem Popup angezeigt.
Dateistruktur
Geben Sie eine einfache CSV-Datei ein, damit Sie sie selbst erstellen können. Die Ausgabe ist ebenfalls csv, was den Vergleich mit der vorherigen Erfassung erleichtert.
Angegebener Inhalt
1.URL
2. Erfassungsartikelklasse (bis zu 3 können angegeben werden)
3. Name der Ausgabedatei
Herausforderungen
1. Elemente, für die keine Klasse definiert ist, können nicht verwendet werden
→ Wenn die Klasse für den Gegenstand, den Sie nehmen möchten, nicht definiert ist, können Sie sie nicht erhalten. Ich überlegte, ob ich auch den Ausweis und den Namen nehmen sollte, aber es wäre verwirrend, also entschied ich mich dagegen. Für zukünftige Verbesserungen
2. Ich kann zusätzliche Gegenstände als das Ziel erhalten
→ Da es nicht als Eingabedaten verwendet wird, bitten Sie sie, unnötige Teile zu löschen. Wir haben die Erfassung von Wetterinformationen unterstützt, aber es wird kompliziert, wenn sie verallgemeinert werden, sodass wir sie nicht akzeptieren. Für zukünftige Verbesserungen
3. Sie müssen sich bewusst sein, dass Sie nicht gegen die Nutzungsbedingungen verstoßen und nicht überlasten.
Und um Jobs zu wechseln
Ich habe bisher lange geschrieben, aber jetzt, da ich webbasierte Entwicklungstechnologie erworben habe und ein unternehmensunabhängiger Ingenieur werden möchte, habe ich angefangen, den Job zu wechseln. Verwenden Sie dieses Scraping-Tool als Portfolio.
Es wird auf GitHub veröffentlicht. Ich wäre Ihnen sehr dankbar, wenn Sie mir einen Rat geben könnten.
https://github.com/yamamasa2020/scraping-tool