Scraping mit Python

Überblick

• Motivation: Ich möchte das Datum, die Überschrift und die URL der Nachrichten sammeln, die täglich hinzugefügt werden.
• Verwenden Sie schöne Suppe
• Dieser Artikel basiert auf der Annahme, dass Python 3.x und UNIX verwendet werden.

0. Paket

• Zum Schaben verwendet: BeautifulSoup, httplib2, time
• Zur Datenspeicherung verwendet: re, pandas, datetime

import pandas as pd
from bs4 import BeautifulSoup
import httplib2
import re
import time
from datetime import datetime

1. Webdaten-Scraping

• Zielseiten, deren URL-Ende sich dynamisch ändert (z. B. "http: // ~ / page / 1"; "http: // ~ / page / 2"; ... usw.)
• In 1 bis 5 unten wird es als "num = 1" erklärt. Es wird angenommen, dass eine beliebige Ganzzahl eingegeben werden kann.
• Hier ist das Ziel, die Daten der Seite in `suppe``` von`oup = BeautifulSoup (content, 'lxml') zu speichern.

num = 1
h = httplib2.Http('.cache')
base_url = "http://~/page"
url=base_url+ str(num)
response, content = h.request(url)
content = content.decode('utf-8')
soup = BeautifulSoup(content, 'lxml')

2. Eingrenzte Daten eingrenzen: einzelne Nachrichten

• Extrahieren Sie die erforderlichen Informationen aus den in `` `suppe``` in 1 gespeicherten Daten. (Einzelne Nachrichten zu Datum / Uhrzeit der Veröffentlichung, Überschrift, Artikel-URL auflisten)
• Hier werden unter denen, die mit "div" gekennzeichnet sind, diejenigen mit dem Wert "id" als "primär" extrahiert und "" extrahiert und "" In `data``` speichern (nur Informationen zu einzelnen Nachrichten aus verschiedenen auf der Homepage enthaltenen Informationen extrahieren).

data = soup.find_all('div',  {"id": "primary"})

3. Erfassung von Datum und Uhrzeit und Gestaltung des Zeitstempels

• Extrahieren Sie den Zeitstempel aus der Liste der Nachrichten in "Daten", die in 2. erhalten wurden, und speichern Sie ihn in "Daten". Da `data``` von` find_all extrahiert wird, wird beim weiteren Extrahieren von `` `find_all von dort`` data [0] `` Beachten Sie, dass es alsangegeben ist.
• Die `Daten Daten enthalten nicht nur Datum und Uhrzeit, sondern auch Informationen wie Uhrzeit. Da hier nur Datum und Uhrzeit verwendet werden, werden nur Datum und Uhrzeit extrahiert und in `` temp``` gespeichert.
• Konvertieren Sie außerdem `temp``` in datetime type und speichern Sie es in list. `` `Index``, da die Originaldaten sowohl Typen von` `% d /% m /% Y als auch Typen von % Y-% m-% d``` enthalten Fälle werden mit `klassifiziert und in den Datetime-Typ konvertiert.

dates = data[0].find_all('span', class_ = 'posted-on')

temp = []
for item in dates:
        date = item.text
        temp.append(date[1:11].split())
dlist = []
for item in temp:
    index = item[0].find("/")
    if index != -1:
        dlist.append(datetime.strptime(item[0], '%d/%m/%Y').date())
    else:
        dlist.append(datetime.strptime(item[0], '%Y-%m-%d').date())

4. Überschrift abrufen, URL

• Erhalten Sie die Überschriften-URL jeder Nachricht aus der Liste der Nachrichten, die in "Daten" enthalten sind, die in 2. erhalten wurden, und speichern Sie sie in "Neue Daten".
• Speichern Sie jedes in `tlist``` (Überschrift ... Titel t),` ulist``` (URL). *Hier für die Überschrift die Escape-Sequenz(\n|\r|\t)Wir arbeiten daran, zu entfernen.

newdata = data[0].find_all('h2', class_ ='entry-title')
tlist = []
ulist = []
for item in newdata:
    urls = re.search('href="(?P<URL>.+?)"', str(item)).group('URL')
    titles = item.get_text()
    ulist.append(urls)
    tlist.append(re.sub(r'\n|\r|\t', '', titles))

5. Sammeln Sie die erfassten Informationen in einem Datenrahmen

• Verwenden Sie hier `` `pandas```, um einen Datenrahmen der Zielüberschriftenliste (Datum und Uhrzeit, Artikeltitel, URL) zu erstellen.
• Dieser Datenrahmen ist das Endergebnis.

list_headline = pd.DataFrame({'date':dlist,
                            'headline':tlist,
                            'url':ulist})

6. Funktionalisierung

• Wie in 1. beschrieben, wurde die Erklärung bisher mit `` `num = 1``` erweitert, aber im Folgenden wird dieselbe Arbeit für mehrere Seiten ausgeführt.
• Unter der Annahme, dass jede Seite dieselbe Struktur hat, kann gesagt werden, dass es effektiv ist, die obigen 1 bis 4 Funktionen auszuführen und die Seitenumschaltung mit Variablen zu steuern.
• Hier wird angenommen, dass `num``` als Variable gesetzt ist und eine Seite mit der gleichen Struktur automatisch gemäß dem Wert von` `num``` erfasst werden kann. ( Url = base_url + str (num) `` in 1. definiert dies)
• Um es zu einer Funktion zu machen, deklarieren Sie den Funktionsnamen (hier `headline```) und die Variable (hier` num) mit` `def und den Inhalt der Funktion Einrücken und schreiben (Details siehe "Aktueller Code" unten).
• Schließlich wird der Datenrahmen (der das Endergebnis dieser Arbeit ist, wie in 5. erwähnt) als Rückgabewert angegeben.

def headline(num):
    h = httplib2.Http('.cache')
    base_url = "http://~/page"
    url=base_url+ str(num)
#Unterlassung#
    return list_headline

7. Wiederholter Code

• Nehmen Sie hier an, dass der Wert von "num" 1 bis 5 ist, und führen Sie den Code aus.
• Führen Sie zuerst die Funktion aus, wenn "num = 1", und speichern Sie sie in "Überschriften". Dies liegt daran, dass es nicht möglich ist, ein leeres Objekt mithilfe einer Schleife zu speichern.
• Um eine Belastung des Servers zu vermeiden, wird eine Wartezeit von 5 Sekunden für die Skriptausführung festgelegt (time.sleep (5)).
• Wenn "num" 2 bis 5 dauert, wenden Sie die iterative Funktion mit "for" an und addieren Sie das erhaltene Ergebnis zu "headlines" (vorhandene "headlines" -Daten). Bild des Stapelns neuer Datenrahmen gegen Rahmen).
• print (i) wird zur Fehlerprüfung verwendet.

headlines = headline(1)
time.sleep(5)

for i in range (2,5):
    temp = headline(i)
    headlines = pd.concat([headlines, temp]) 
    time.sleep(5)
    print (i)

8. Speichern

• Speichern Sie die in 7 erhaltenen Ergebnisse.
• Hier stellen wir zwei Speichermethoden vor: .csv und .xlsx.

#headlines.to_csv(datetime.today().strftime("%Y%m%d")+'FILENAME.csv') ##Grundsätzlich.csv ist einfacher zu bedienen und wird empfohlen
headlines.to_excel('/Users/USERNAME/FOLDERNAME/'+ datetime.today().strftime("%Y%m%d")+'FILENAME.xlsx') ##Klicken Sie hier, wenn das Excel-Format besser ist

Tatsächlicher Code

• Der obige Code lautet wie folgt, wenn 1 bis 8 zusammengesetzt werden.
• Bitte beachten Sie, dass in die Homepage-Adresse (base_url) und das Speicherziel (siehe 8. oben) fiktive Nummern eingefügt sind. Selbst wenn Sie diesen Code direkt verwenden, erhalten Sie keine Ergebnisse.
• Außerdem unterscheidet sich die Nummerierung der Seitenadresse (in diesem Dokument wird davon ausgegangen, dass sich das Ende der Adresse in "Seite1", "Seite2", ... ändert) je nach Struktur der Startseite, und auch die Tag-Struktur variiert. Ist. Bitte überprüfen Sie den Quellcode der Seite sorgfältig, bevor Sie sie tatsächlich verwenden.
• Einige Homepages verbieten das Schaben. Bitte überprüfen Sie sorgfältig.

import pandas as pd
from bs4 import BeautifulSoup
import httplib2
import re
import time
from datetime import datetime

def headline(num):
    h = httplib2.Http('.cache')
    base_url = "http://~/page"
    url=base_url+ str(num)
    response, content = h.request(url)
    soup = BeautifulSoup(content, 'lxml')
    data = soup.find_all('div',  {"id": "primary"})
    dates = data[0].find_all('span', class_ = 'posted-on')
    temp = []
    for item in dates:
            date = item.text
            temp.append(date[1:11].split())
    dlist = []
    for item in temp:
        index = item[0].find("/")
        if index != -1:
            dlist.append(datetime.strptime(item[0], '%d/%m/%Y').date())
        else:
            dlist.append(datetime.strptime(item[0], '%Y-%m-%d').date())

    newdata = data[0].find_all('h2', class_ ='entry-title')
    tlist = []
    ulist = []
    for item in newdata:
        urls = re.search('href="(?P<URL>.+?)"', str(item)).group('URL')
        titles = item.get_text()
        ulist.append(urls)
        tlist.append(re.sub(r'\n|\r|\t', '', titles))


    list_headline = pd.DataFrame({'date':dlist,
                            'headline':tlist,
                            'url':ulist})
    return list_headline

headlines = headline(1)
time.sleep(5)

for i in range (2,5):
    temp = headline(i)
    headlines = pd.concat([headlines, temp]) 
    time.sleep(5)
    print (i)

#headlines.to_csv(datetime.today().strftime("%Y%m%d")+'FILENAME.csv')
headlines.to_excel('/Users/USERNAME/FOLDERNAME/'+ datetime.today().strftime("%Y%m%d")+'FILENAME.xlsx') ##Klicken Sie hier, wenn das Excel-Format besser ist