Scraping à l'aide de Python

Aperçu

• Motivation: je souhaite collecter la date, le titre et l'URL des actualités qui sont ajoutées quotidiennement.
• Utilisez une belle soupe
• Cet article est basé sur l'hypothèse que Python 3.x et UNIX sont utilisés.

0. Paquet

• Utilisé pour le grattage: BeautifulSoup, httplib2, time
• Utilisé pour le stockage des données: re, pandas, datetime

import pandas as pd
from bs4 import BeautifulSoup
import httplib2
import re
import time
from datetime import datetime

1. Grattage de données Web

• Pages cibles dont la fin de l'URL change dynamiquement (par exemple, http: // ~ / page / 1; http: // ~ / page / 2; ... etc.)
• Dans 1 à 5 ci-dessous, il est expliqué par «num = 1». On suppose que n'importe quel entier peut être entré.
• Ici, le but est de stocker les données de la page dans soup``` par soup = BeautifulSoup (content, 'lxml') ``.

num = 1
h = httplib2.Http('.cache')
base_url = "http://~/page"
url=base_url+ str(num)
response, content = h.request(url)
content = content.decode('utf-8')
soup = BeautifulSoup(content, 'lxml')

2. Affiner les données extraites: actualités individuelles

• Extraire les informations nécessaires à partir des données stockées dans soupe '' `` en 1. (Liste des nouvelles individuelles sur la date / heure de publication, le titre, l'URL de l'article)
• Ici, parmi ceux marqués avec 'div'```, ceux avec la valeur de id "`` sont `` `` "primary" ``sont extraits et Stocker dans des `` données '' (extraire uniquement des informations sur des nouvelles individuelles à partir de diverses informations contenues dans la page d'accueil)

data = soup.find_all('div',  {"id": "primary"})

3. Acquisition de la date et de l'heure et mise en forme de l'horodatage

• Extrayez l'horodatage de la liste des nouvelles incluses dans data obtenu en 2. et stockez-le dansdates`. Puisque data est extrait par `` `find_all, lors de l'extraction ultérieure par`` find_all``` à partir de là, ``data [0] Notez qu'il est spécifié comme `.
• Les données dates '' '' comprennent non seulement la date et l'heure, mais également des informations telles que l'heure. Puisque seules la date et l'heure sont utilisées ici, seules la date et l'heure sont extraites et stockées dans temp```.
• De plus, convertissez temp en type datetime et stockez-le dans` `` list. Puisque les données originales contiennent un mélange de types `% d /% m /% Y``` et de types`% Y-% m-% d, index`` Les observations sont classées en utilisant ʻet converties en type datetime.

dates = data[0].find_all('span', class_ = 'posted-on')

temp = []
for item in dates:
        date = item.text
        temp.append(date[1:11].split())
dlist = []
for item in temp:
    index = item[0].find("/")
    if index != -1:
        dlist.append(datetime.strptime(item[0], '%d/%m/%Y').date())
    else:
        dlist.append(datetime.strptime(item[0], '%Y-%m-%d').date())

4. Obtenez le titre, l'URL

• Obtenez l'URL du titre de chaque actualité à partir de la liste des actualités incluses dans data obtenue en 2. et stockez-la dans `` `` newdata.
• Stockez chacun dans `` tlist``` (headline ... title t), `ʻulist``` (url). *Ici, pour le titre, la séquence d'échappement(\n|\r|\t)Nous travaillons à supprimer.

newdata = data[0].find_all('h2', class_ ='entry-title')
tlist = []
ulist = []
for item in newdata:
    urls = re.search('href="(?P<URL>.+?)"', str(item)).group('URL')
    titles = item.get_text()
    ulist.append(urls)
    tlist.append(re.sub(r'\n|\r|\t', '', titles))

5. Collectez les informations acquises dans une trame de données

• Ici, utilisez `` pandas '' pour créer un bloc de données de la liste de titres cible (date et heure, titre de l'article, url).
• Cette trame de données est le résultat final.

list_headline = pd.DataFrame({'date':dlist,
                            'headline':tlist,
                            'url':ulist})

6. Fonctionnalisation

• Comme décrit dans 1., l'explication a été avancée avec num = 1 '' 'jusqu'à présent, mais dans ce qui suit, le même travail sera effectué pour plusieurs pages.
• En supposant que chaque page a la même structure, on peut dire qu'il est efficace de faire les 1 à 4 fonctions ci-dessus et de contrôler le changement de page avec des variables.
• Ici, on suppose que `num``` est défini comme une variable et une page avec la même structure peut être automatiquement acquise en fonction de la valeur de `num. (Url = base_url + str (num) ```in 1. définit cela)
• Pour en faire une fonction, déclarez le nom de la fonction (ici headline '') et la variable (ici num '') avec `` def```, et le contenu de la fonction Mettez en retrait et écrivez (voir «Code réel» ci-dessous pour plus de détails).
• Enfin, la trame de données (qui est le résultat final de ce travail, comme mentionné en 5.) est spécifiée comme valeur de retour.

def headline(num):
    h = httplib2.Http('.cache')
    base_url = "http://~/page"
    url=base_url+ str(num)
#Omission#
    return list_headline

7. Code répété

• Ici, supposons que la valeur de «num» est comprise entre 1 et 5 et exécutez le code.
• D'abord, exécutez la fonction lorsque num = 1 et stockez-la dans les titres. En effet, il n'est pas possible de stocker un objet vide à l'aide d'une boucle.
• Pour éviter de surcharger le serveur, un temps d'attente de 5 secondes est défini pour l'exécution du script (time.sleep (5)).
• Ensuite, lorsque «num» prend 2 à 5, appliquez la fonction itérative en utilisant «for» et ajoutez le résultat obtenu aux «titres» (données «titres» existantes). Image de l'empilement de nouvelles trames de données contre des trames).
• print (i) est utilisé pour la vérification des erreurs.

headlines = headline(1)
time.sleep(5)

for i in range (2,5):
    temp = headline(i)
    headlines = pd.concat([headlines, temp]) 
    time.sleep(5)
    print (i)

8. Enregistrer

• Sauvegardez les résultats obtenus en 7.
• Ici, nous introduisons deux méthodes de sauvegarde, .csv et .xlsx.

#headlines.to_csv(datetime.today().strftime("%Y%m%d")+'FILENAME.csv') ##Fondamentalement.csv est plus facile à utiliser et recommandé
headlines.to_excel('/Users/USERNAME/FOLDERNAME/'+ datetime.today().strftime("%Y%m%d")+'FILENAME.xlsx') ##Cliquez ici si le format Excel est meilleur

Code réel

• Le code ci-dessus est le suivant lorsque 1 à 8 sont réunis.
• Veuillez noter que l'adresse de la page d'accueil (base_url) et la destination de sauvegarde (voir 8. ci-dessus) ont des numéros fictifs insérés, donc même si vous utilisez ce code directement, vous n'obtiendrez aucun résultat.
• De plus, la numérotation des adresses de page (dans cet article, on suppose que la fin de l'adresse change en page1, page2, ...) diffère en fonction de la structure de la page d'accueil, et la structure des balises varie également. Est. Veuillez vérifier attentivement le code source de la page avant de l'utiliser.
• Certaines pages d'accueil interdisent le grattage. Veuillez vérifier attentivement.

import pandas as pd
from bs4 import BeautifulSoup
import httplib2
import re
import time
from datetime import datetime

def headline(num):
    h = httplib2.Http('.cache')
    base_url = "http://~/page"
    url=base_url+ str(num)
    response, content = h.request(url)
    soup = BeautifulSoup(content, 'lxml')
    data = soup.find_all('div',  {"id": "primary"})
    dates = data[0].find_all('span', class_ = 'posted-on')
    temp = []
    for item in dates:
            date = item.text
            temp.append(date[1:11].split())
    dlist = []
    for item in temp:
        index = item[0].find("/")
        if index != -1:
            dlist.append(datetime.strptime(item[0], '%d/%m/%Y').date())
        else:
            dlist.append(datetime.strptime(item[0], '%Y-%m-%d').date())

    newdata = data[0].find_all('h2', class_ ='entry-title')
    tlist = []
    ulist = []
    for item in newdata:
        urls = re.search('href="(?P<URL>.+?)"', str(item)).group('URL')
        titles = item.get_text()
        ulist.append(urls)
        tlist.append(re.sub(r'\n|\r|\t', '', titles))


    list_headline = pd.DataFrame({'date':dlist,
                            'headline':tlist,
                            'url':ulist})
    return list_headline

headlines = headline(1)
time.sleep(5)

for i in range (2,5):
    temp = headline(i)
    headlines = pd.concat([headlines, temp]) 
    time.sleep(5)
    print (i)

#headlines.to_csv(datetime.today().strftime("%Y%m%d")+'FILENAME.csv')
headlines.to_excel('/Users/USERNAME/FOLDERNAME/'+ datetime.today().strftime("%Y%m%d")+'FILENAME.xlsx') ##Cliquez ici si le format Excel est meilleur