Kratzen Sie die reCAPTCHA-Site jeden Tag automatisch ab (1/7: Aufbau der Python-Umgebung)

Ich nahm an einem Projekt zur Verbesserung des Betriebs durch RPA teil ... Das RPA-Tool war ** zu teuer (7,2 Millionen Yen / Jahr) **, also habe ich es durch Python ersetzt. Es ist eine Zusammenfassung der damaligen Arbeit.

Bedarf

Überblick

• Melden Sie sich bei einer bestimmten Site an, laden Sie die Suchergebnisse mit einem bestimmten Wort herunter und rufen Sie die Daten ab.
• Das "spezifische Wort", das zum EINGANG wird, wird jeden Tag auf Amazon S3 platziert. --Der AUSGANG dient zum Formatieren der erfassten Daten und zum Platzieren an einer anderen Position in S3. ―― Darüber hinaus haben wir das Unternehmen der Website kontaktiert und die Genehmigung zum Schaben erhalten.

Schwierigkeit

--ReCAPTCHA wird an dieser bestimmten Site installiert, wenn Sie sich anmelden (!) --AnglarJS wird auf dieser bestimmten Site verwendet

• Sie müssen klicken, um herunterzuladen
• Du musst es jeden Tag können

Technologieauswahl

Als ich nur die Schlussfolgerung schrieb (obwohl ich viel Versuch und Irrtum gemacht habe), wurde es wie folgt. Es war ziemlich schwierig ...

• Holen Sie sich Daten mit Python-Selen
• Durchbrechen Sie reCAPTCHA mit einem Dienst namens "2captcha". --Docker Containerisierung. Starten Sie eine virtuelle Anzeige mit Xvfb und führen Sie die App aus
• Starten Sie täglich mit AWS Batch

Story

Wir haben es nach folgendem Ablauf entwickelt.

1. Erstellen Sie eine Python-Umgebung
2. Erstellen Sie einen Site-Scraping-Mechanismus
3. Verarbeiten Sie die heruntergeladene Datei (xls), um das Endprodukt (csv) zu erstellen.
4. Erstellen Sie einen Dateidownload von S3 / Datei-Upload nach S3 5.2 Captcha implementiert
5. Lassen Sie es in einem Docker-Container starten
6. Registrieren Sie sich für den AWS-Stapel

Ich denke, ich werde Qiita auf jeder Seite teilen.

1. Umweltbau

Erstellen Sie zunächst eine normale Python-Umgebung!

Dieses Mal werden wir python3.6.3 verwenden. Das Terminal ist die Standard-Bash. Da ich in Zukunft mehrere Versionen von Python verwenden möchte, werde ich eine dedizierte Python-Umgebung mit "pyenv" und "pyenv-virtualenv" erstellen.

Installieren Sie pyenv

git clone https://github.com/pyenv/pyenv.git ~/.pyenv
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bash_profile

Installieren Sie dann python3.6

pyenv install 3.6.3

Installation von pyenv-virtualenv

Ich bin mir nicht sicher, ob es gebraucht wird, aber jemand sagte, es sei gut, also werde ich auch pyenv-virtualenv einschließen.

git clone https://github.com/pyenv/pyenv-virtualenv.git $(pyenv root)/plugins/pyenv-virtualenv
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile

Und erstellen Sie eine virtuelle Umgebung für diese Zeit.

pyenv virtualenv 3.6.3 myproject

Ein Verzeichnis erstellen

Bereiten Sie das Verzeichnis vor, das für dieses Projekt verwendet werden soll. (Obwohl ich dies tatsächlich durch Versuch und Irrtum geändert habe)

mkdir myproject
cd myproject
pyenv local myproject

Bereiten Sie unter diesem "myproject" Ordner und Dateien wie unten gezeigt vor.

├── app
│ ├ Treiber Selen Treiber platzieren
│   └── source           
│       └── scraping.py Verarbeitung
└── tmp
    ├── files
│ └ download Laden Sie die durch Scraping heruntergeladene Datei ab
└── protokolliert Protokolle(Selen Log etc.)

Klicken Sie hier für weitere Informationen. https://qiita.com/kamyu1201@github/items/a07c7d175c051b8ab4c0