Grattez automatiquement le site reCAPTCHA tous les jours (1/7: construction de l'environnement python)

Je participais à un projet d'amélioration des opérations grâce à la RPA ... L'outil RPA était ** trop cher (7,2 millions de yens / an) **, je l'ai donc remplacé par python. C'est un résumé des travaux à l'époque.

Exigences

Aperçu

--Connectez-vous à un certain site, téléchargez les résultats de la recherche avec «mot spécifique» et obtenez les données.

• Le «mot spécifique» qui devient INPUT est placé sur Amazon S3 chaque jour. --La SORTIE consiste à formater les données acquises et à les placer dans une position différente sur S3. ――En outre, nous avons contacté la société du site et obtenu l'autorisation de grattage.

Difficulté

--ReCAPTCHA est installé sur ce site spécifique lorsque vous vous connectez (!) --AnglarJS est utilisé sur ce site particulier

• Vous devez cliquer pour télécharger
• Vous devez pouvoir le faire tous les jours

Sélection de technologie

Quand j'ai écrit seulement la conclusion (bien que j'aie fait beaucoup d'essais et d'erreurs), c'est devenu comme suit. C'était assez difficile ...

• Obtenir des données en utilisant le sélénium de Python --Break via reCAPTCHA en utilisant un service appelé "2captcha"
• Conteneurisation des quais. Lancer un affichage virtuel à l'aide de Xvfb et exécuter l'application --Lancement quotidien en utilisant AWS batch

Story

Nous l'avons développé selon le flux suivant.

1. Construisez un environnement python
2. Créer un mécanisme de grattage de site
3. Traitez le fichier téléchargé (xls) pour créer le produit final (csv)
4. Créer un téléchargement de fichier depuis S3 / télécharger un fichier vers S3 5.2 Captcha implémenté
5. Autorisez-le à démarrer dans un conteneur Docker
6. Inscrivez-vous au lot AWS

Je pense que je vais diviser Qiita sur chaque page.

1. Construction de l'environnement

Tout d'abord, construisez un environnement python normal!

Cette fois, nous utiliserons python3.6.3. Le terminal est le "bash" par défaut. Étant donné que je souhaite utiliser plusieurs versions de python à l'avenir, je vais créer un environnement python dédié en utilisant pyenv et pyenv-virtualenv.

Installez pyenv

git clone https://github.com/pyenv/pyenv.git ~/.pyenv
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bash_profile

Ensuite, installez python3.6

pyenv install 3.6.3

Installation de pyenv-virtualenv

Je ne sais pas si c'est nécessaire, mais quelqu'un a dit que c'était bien, alors j'inclurai également pyenv-virtualenv.

git clone https://github.com/pyenv/pyenv-virtualenv.git $(pyenv root)/plugins/pyenv-virtualenv
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile

Et créez une virtualenv pour cette fois.

pyenv virtualenv 3.6.3 myproject

Créer un annuaire

Préparez le répertoire à utiliser pour ce projet. (Bien que j'aie réellement changé cela par essais et erreurs)

mkdir myproject
cd myproject
pyenv local myproject

Sous ce myproject, préparez les dossiers et fichiers comme indiqué ci-dessous.

├── app
│ ├── pilotes sélénium Place pilotes
│   └── source           
│       └── scraping.traitement py
└── tmp
    ├── files
│ └── télécharger Placez le fichier téléchargé en grattant
└── enregistre les journaux(journal de sélénium, etc.)

Cliquez ici pour plus d'informations. https://qiita.com/kamyu1201@github/items/a07c7d175c051b8ab4c0