[PYTHON] Scraping: Website lokal speichern

Scraping: Website lokal speichern

Memorandum. Nur zu Sicherungszwecken. Solare elektromagnetische Wellen? Solarmagnetsturm? In Vorbereitung auf einen globalen Stromausfall wie. Implementiert, da microCMS keine Sicherungsfunktion hat.

Code

import os
from urllib.request import *

#URL für jede Artikelkategorie
#base_url = "https://benzoinfojapan.org/patients-article/"
#base_url = "https://benzoinfojapan.org/doctors-article/"
base_url = "https://benzoinfojapan.org/medias-article/"

#Speichern Sie das Präfix des Zieldateinamens
#prefix = "patients-article"
#prefix = "doctors-article"
prefix = "medias-article"

num = 1

#Während num für jede Kategorie Artikelobergrenze<=Auf X setzen.Nachfolgend finden Sie den aktuellen Wert ab Oktober 2020.
#Für Patienten 10
#Für Patienten 26
#Für Patienten 13
# 　　　　　　↓↓
while num <= 13:
    print("Download starten")
 
    #Verzeichnis, in dem HTML-Dateien gespeichert werden
    save_dir = os.path.dirname(os.path.abspath(__file__)) + "/html/"
    #Erstellen Sie ein Verzeichnis, wenn es nicht vorhanden ist
    if not os.path.exists(save_dir): 
        os.mkdir(save_dir)

    url=base_url + str(num)

    #Zieldateipfad
    num_str = str(num)
    save_file = save_dir + prefix + num_str + ".html"

    urlretrieve(url, save_file)

    # doctors-Der 22. Artikel fehlt, daher notwendige Bearbeitung^^;
    if num != 11:
        num += 1
    else:
        num += 2

• Keine Fehlerbehandlung

Wie benutzt man

Führen Sie den obigen Code dreimal aus und ändern Sie die Parameter für jede der drei Kategorien.

Die einzigen Änderungen sind wie folgt.

• base_url
• prefix
• while num <= xx: ← xx ist die aktuelle Gesamtzahl der Artikel.

Ergebnis

Jede Seite wird als HTML-Datei auf dem lokalen Laufwerk gespeichert.

das ist alles.