In Eile gab es eine Anfrage zum Speichern von Daten, die mehrere Seiten in einer Datenbank umfassen, und so schrieb ich sie in Eile. CSS-Selektoren sind tödlich nützlich, nicht wahr?
scl.py
import requests, os, re, csv, bs4
import sqlite3
import lxml.html
a = 0
i = 0
url = 'https://www.〜'
while a < 55:
a += 1
res = requests.get(url)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, 'lxml')
for u in soup.select('.plan-module > .plan-link.plan-image-container'):
urls = 'https://www.〜' + u.attrs['href']
#print (urls)
con = sqlite3.connect('url.db')
c = con.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS urldata(urls unique)''')
c.execute('INSERT INTO urldata VALUES (?)',[urls])
con.commit()
con.close()
i += 1
url = 'https://www.〜?=' + str(i)
print ('success')
Es stellte sich jedoch heraus, dass die Paginierung ein dynamisches Element ist und ohne Verwendung von Selen nutzlos ist.
Recommended Posts