Premiers pas avec Python Web Scraping Practice

Introduction à la pratique du grattage Web Python Réécrit en Python 3 en référence à

Préparation

Vérification de la version Python

$ python3 -V
Python 3.8.6

Acquisition du cours moyen de l'action Nikkei

Installation du package

$ pip3 install beautifulsoup4

Grattage

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = "http://www.nikkei.com/markets/kabu/"

html = urlopen(url).read()
soup = BeautifulSoup(html, "html.parser")

nikkei_heikin = soup.find("span", class_="mkc-stock_prices").string
print(nikkei_heikin)

Installation du package

$ pip3 install beautifulsoup4
$ pip3 install apscheduler
$ pip3 install requests
import csv
import datetime

import requests
from apscheduler.schedulers.blocking import BlockingScheduler
from bs4 import BeautifulSoup

sched = BlockingScheduler()

#Courir toutes les heures
# @sched.scheduled_job('interval', hours=1)


#Exécuter à 0 minute toutes les heures
@sched.scheduled_job("cron", minute=0, hour="*/1")
def scheduled_job():

    #Accédez à la page du cours moyen de l'action Nikkei du Nihon Keizai Shimbun et obtenez le HTML
    r = requests.get("http://www.nikkei.com/markets/kabu/")
    r.raise_for_status()

    #Obtenez le cours moyen de l'action Nikkei en utilisant Beautiful Soup
    soup = BeautifulSoup(r.text, "html.parser")
    nikkei_heikin = soup.select_one(
        "#CONTENTS_MARROW > div.mk-top_stock_average.cmn-clearfix > div.cmn-clearfix > div.mkc-guidepost > div.mkc-prices > span.mkc-stock_prices"
    ).get_text(strip=True)

    #Convertir l'heure actuelle en une chaîne
    now = datetime.datetime.now().strftime("%Y/%m/%d %H:%M:%S")

    print(f"{now} {nikkei_heikin}"

    #Ajouter la date, l'heure et la valeur du cours moyen de l'action Nikkei au format CSV
    with open("nikkei_heikin.csv", "a") as fw:
        writer = csv.writer(fw, dialect="excel", lineterminator="\n")
        writer.writerow([now, nikkei_heikin])


sched.start()

Recommended Posts

Premiers pas avec Python Web Scraping Practice
Premiers pas avec Python Web Scraping Practice
Premiers pas avec les applications Web Python
1.1 Premiers pas avec Python
Premiers pas avec Python
Premiers pas avec Python
Pratiquer le web scraping avec Python et Selenium
Web scraping avec python + JupyterLab
Premiers pas avec Python Django (1)
Premiers pas avec Python Django (4)
Premiers pas avec Python Django (3)
Introduction à Python Django (6)
Web scraping débutant avec python
Premiers pas avec Python Django (5)
Premiers pas avec Python responder v2
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
Premiers pas avec Python pour les classes PHPer
Premiers pas avec Python Bases de Python
Premiers pas avec les algorithmes génétiques Python
Premiers pas avec Python 3.8 sous Windows
Premiers pas avec Python pour les fonctions PHPer
Grattage avec Python
Grattage avec Python
Premiers pas avec python3 # 1 Apprenez les connaissances de base
Grattage WEB avec Python (pour mémo personnel)
[Note personnelle] Scraping de pages Web en python3
Site de courses de chevaux Web scraping avec Python
Premiers pas avec Python pour PHPer-Super Basics
Premiers pas avec Dynamo de Python boto
Scraping Web facile avec Python et Ruby
[Pour les débutants] Essayez le web scraping avec Python
[FastAPI] Premiers pas avec FastAPI, un framework Web ASGI créé par Python
Django 1.11 a démarré avec Python3.6
Grattage en Python (préparation)
Essayez de gratter avec Python.
Premiers pas avec Android!
Grattage avec Python + PhantomJS
Premiers pas avec apache2
Premiers pas avec Django 1
Introduction à l'optimisation
Premiers pas avec Numpy
Premiers pas avec Spark
Grattage avec du sélénium [Python]
Scraping avec Python + PyQuery
Premiers pas avec Pydantic
Premiers pas avec Jython
Scraping RSS avec Python
Premiers pas avec Django 2
Démarrer avec Python avec 100 coups sur le traitement du langage
Exécutez régulièrement le scraping WEB avec AWS-Lambda + Python + Cron
[Français] Premiers pas avec Rust pour les programmeurs Python
Introduction à Tornado (1): Framework Web Python démarré avec Tornado