Scraping mit Python

Ich musste es in Python kratzen, also notiere es dir. Bereiten Sie die Umgebung mit Docker vor und implementieren Sie sie.

`Verfassung`


$ ls
README.md  docker-compose.yaml  scraping
$ ls scraping/
Dockerfile  requirements.txt  scrap.py  scraping.py

`docker-compose.yaml`


version: '3.8'

services:
  scraping:
    build: ./scraping

`Dockerfile`


FROM python:latest

COPY . /work
WORKDIR /work

RUN apt-get update

#Installieren Sie schöne Suppe
RUN pip install -U pip
RUN pip install -r requirements.txt

ENTRYPOINT ["python"]
CMD ["scrap.py"]

`requirements.txt`


bs4
requests

Hol es dir mit h1

`scrap.py`


import requests
from bs4 import BeautifulSoup

url = "https://www.yahoo.co.jp"
response = requests.get(url)

soup = BeautifulSoup(response.text,"html.parser")

titles = soup.find_all("h1")

for title in titles:
    print(title.text)

`Ausführungsergebnis`


$ docker-compose up --build
.
.
.
scraping_1  | Yahoo! JAPAN
scraping_1  |Suche
scraping_1  |Informationen zu JavaScript-Einstellungen
scraping_1  |Über empfohlene Browser
scraping_1  |Beachten
scraping_1  |Hauptdienste
scraping_1  |Nachrichten
scraping_1  |Wichtige Neuigkeiten
scraping_1  |Seine Majestät der Kaiser "Deep Reflection" auch dieses Jahr
scraping_1  |Eine Liebesgeschichte von einem einsamen Schlachtfeld
scraping_1  |5000 Tote ohne eine verlassene Insel zu bekämpfen
scraping_1  |Seien Sie vorsichtig bei Katastrophenhitze am Nachmittag
scraping_1  |Ehemaliger Rekrutierungsarbeiter "Japan und Bemühungen"
scraping_1  |Lawson Briefmarkenkauf zügelloser Hintergrund
scraping_1  |Breaking News Exchange Match Iwaki vs..Kokushikan
scraping_1  |Shoshosha beendet den Sommer ohne zu verlieren
scraping_1  |Schweigen beim Gedenkgottesdienst
scraping_1  |Informationen über Personen
scraping_1  |Dein Status
scraping_1  |Heutiges Datum
b-model_scraping_1 exited with code 0