[Python] Memo zum Erstellen von Scraping-Tools

Hauptsächlich Memos für mich.

Tor

Erstellen Sie ein Scraping-Tool, um Pachinko-Daten abzurufen

Design

Gerätedatenerfassung [OK bis Test]

Es ist ein Programm, um die Anzahl von G und die Anzahl von großen Treffern zu erhalten. Dies ist fast abgeschlossen, und wir konnten im Test 5 Einheiten erwerben, sodass wir alle problemlos erwerben können sollten. Klicken Sie hier für den Erfassungsablauf

Erstellen Sie eine URL-Liste
Greifen Sie der Reihe nach auf die URL-Liste zu
Holen Sie sich die gewünschten Informationen, wenn Sie darauf zugreifen, und erstellen Sie eine Liste → Wenn Sie beispielsweise die Anzahl der BBs und die Anzahl der Gs abrufen möchten, erstellen Sie jeweils eine Liste.
Konvertieren Sie die Liste in einen Datenrahmen

Ich habe auch versucht, es mit read_html in die Tabelle zu bekommen, aber wenn ich jeden Datenrahmen verbinde, kann ich nicht gut verbinden, also habe ich die gewünschten Informationen in einer Liste erhalten und sie konvertiert und in einen Datenrahmen eingefügt ..

Passen Sie danach den Typ der erfassten Daten an.

Erfassung des Einbruchdiagramms [OK bis zum Test]

Es ist ein Programm zum Erfassen des Einbruchdiagramms jeder Einheit.

Klicken Sie hier für den Akquisitionsablauf, über den Sie nachdenken

Erstellen Sie eine URL-Liste (die Liste entspricht den Maschinendaten).
Erstellen Sie eine Bild-URL-Liste
Holen Sie sich die Bild-URL und hängen Sie sie an die Liste an → Der zu beachtende Punkt ist, dass Sie sich nicht die Mühe machen müssen, eine for-Anweisung zu verwenden, da Sie nur ein Bild auf jeder Seite möchten.
Erstellen Sie eine Funktion zum Herunterladen von Bildern
Laden Sie die Ausführung herunter → Behoben, um den Fehler zu drucken

Im Bild sollte beachtet werden, dass das SRC teilweise ein relativer Pfad ist, unabhängig davon, ob der Standort Maßnahmen für die Daten des Tages ergreift. Ich kann nicht spüren, wie regelmäßig das Modell einen relativen Pfad hat. Daher sind die zu erfassenden Daten im Wesentlichen die Daten des Vortages. Es muss untersucht werden, wann die Site wechselt.

Datenkonvertierung des Diagramms [OK bis zum Test]

Als nächstes ist es ein Programm, das das Bild des Einbruchgraphen analysiert und in Daten konvertiert.

Klicken Sie hier für den Fluss des Denkens

Analyse basierend auf dem aufgenommenen Bild
Fügen Sie der Liste Analyseinformationen hinzu
Berechnen Sie die Analyseinformationen in der Liste neu
In Datenrahmen konvertieren
Mit dem ersten Datenrahmen zusammenführen

Zusammenfassung

Es liegt besonders nahe an meinen eigenen Notizen, daher denke ich, dass es für niemanden hilfreich ist.