git clone https://github.com/takiguchi-yu/python-jupyterLab.git
cd python-jupyterLab

docker-compose up -d

docker-compose down

from bs4 import BeautifulSoup
import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 12_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 Mobile/15E148 Safari/604.1'
}
print('Starten Sie die Verarbeitung')
#Liste der URLs(Externe Datei)Lesen
with open('./input_urls.txt', mode='r', encoding='utf-8') as f:
    for url in f:
        result = requests.get(url.rstrip('\n'), headers=headers) #Hinweis: Entfernen Sie den Zeilenvorschubcode
        print(result.status_code)
        soup = BeautifulSoup(result.content, 'html.parser')
        a = soup.find_all('HTML-Tag-Name hier', {'class': 'Klassenname hier'})
        #a = soup.find_all('div', {'class': 'hoge-hoge'})  #Beispiel
        b = a[0].find(text=True) #Holen Sie sich den Text des HTML-Tags
        #Externe Datei mit Scraping-Ergebnissen(output.txt)Ausgabe an
        with open('./output.txt', 'a') as f:
            print(b, file=f)
print('Bearbeitung abgeschlossen')

Recommended Posts