[PYTHON] Untersuchte das Problem, dass mit dem Download von Google-Bildern nicht mehr als 101 Bilder erfasst werden konnten

Ich konnte viele Beispielbilder erhalten, indem ich mich auf Folgendes bezog

Der Download von Google-Bildern hat nicht funktioniert, entspricht also

Ich werde Onkel Lehrerdaten machen, ich bin nicht sicher, ob es 100 ist, also möchte ich ungefähr 1000 Bilder

Also debugge ich ~~

Nicht gut

Ich habe vorerst versucht, es richtig zu debuggen, aber dieses Problem ist eine Kombination aus mehreren Problemen

• Fehler aufgrund eines anderen HTML-Codierungsstatus, der zwischen dem normalen Lesen und dem Abrufen mit dem Chromedriver erhalten werden kann
• Wenn die Zahl 100 oder weniger ist, wird das Problem gelöst, indem das Verhalten auf 101 oder mehr aufgeteilt wird.
• Bei der automatischen Steuerung von Chrom mit Chromedriver scrolle ich über den Bildschirm und lese nacheinander neue Bilder, aber die Schaltfläche "Weitere Ergebnisse anzeigen" wird beim dritten Lazy Load angezeigt. Es gibt einen Code zum Drücken dieser Schaltfläche, der jedoch aufgrund einer Spezifikationsänderung auf der Google-Seite nicht funktioniert hat
• Behebung durch entsprechende Angabe des DOM-Elements
• Der HTML-Code der Bildsuche speichert verschiedene Informationen des Suchergebnisses in Form eines Javascript-Arrays, und der Download von Google-Bildern json dekodiert es, aber die Spezifikationen auf der Google-Seite (ich weiß nicht, ob es geändert wird). Die ursprüngliche Bild-URL beim verzögerten Laden wird auf js verwaltet, und nur Miniaturansichten werden in HTML gezeichnet. Selbst wenn das verzögerte Laden maximal ausgeführt wird, werden nur die ersten 100 Fälle analysiert, selbst wenn nur die HTML-Quelle analysiert wird. Ich kann das Originalbild nicht aufnehmen
• Ich habe das Gefühl, dass ich es schaffen kann, aber es scheint ziemlich schwierig zu sein

Also bin ich zu dem Schluss gekommen, dass es unmöglich erscheint, also werde ich es einmal auf Eis legen. Wenn Sie 101 oder mehr wollen, scheint es besser, den anderen zu treffen.

Lassen Sie uns nur die Details wissen