[PYTHON] Cheet Sheet beim Schaben mit Google Colaboratory (Colab)

Inhaltsverzeichnis

• [Wie man schöne Suppe benutzt](Wie man # schöne Suppe benutzt)
• [Verwendung von Selen](Verwendung von #selenium)
• [Verwendung von Pandas](Verwendung von #pandas)
• [Umgang mit Tabellenkalkulationen](# Umgang mit Tabellenkalkulationen)
• Vorlesen regulärer Ausdrücke nach Yomi wird in einem anderen Artikel beschrieben.

Wie man schöne Suppe benutzt

So verstümmeln Sie verstümmelte Zeichen

Wenn Sie "Anfragen" verwenden, schreiben Sie diese normalerweise wie folgt:

from bs4 import BeautifulSoup
import requests

res = requests.get(url)
soup = BeautifulSoup(res.content, 'html.parser')

Da es Websites gibt, die damit verstümmelt sind, können die verstümmelten Zeichen durch die folgenden Schritte erheblich beseitigt werden.

from bs4 import BeautifulSoup
import requests

res = requests.get(url)
soup = BeautifulSoup(res.content, "lxml", from_encoding='utf-8')

Codeliste finden

Codeliste von select

Liste der Selektorspezifikationsmethoden

Ändern Sie das Attributelement entsprechend dem Element, das Sie suchen möchten. id, class, href, name, summary usw. Fügen Sie > ein, wenn Sie nur untergeordnete Elemente erhalten möchten (eine Ebene tiefer), und setzen Sie Leerzeichen, wenn Sie Nachkommenelemente erhalten möchten (alle eine Ebene tiefer).

Wie man Selen benutzt

Vorbereitungen für die Verwendung von Selen

Bei Verwendung mit Colab kann Selenium nicht heruntergeladen werden und es können keine UI-Spezifikationen angegeben werden. Diese Einstellung ist erforderlich.

#Laden Sie die für die Verwendung von Selen benötigten Bibliotheken herunter
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

from selenium import webdriver

#Einstellungen für die Verwendung des Treibers ohne Benutzeroberfläche
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options)
driver.implicitly_wait(10)

Bei Verwendung von Selen und schöner Suppe

Als Anwendungsfall, wenn das Element nicht nur von Beautiful Soup erfasst werden kann Wenn Sie die Seite mit Seleniumu laden und dann die erforderlichen Informationen mit Beautiful Soup extrahieren möchten.

driver.get(url)
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'html.parser')

Selen-Basiscode

Wenn Sie eine Dropdown-Liste auswählen möchten

from selenium.webdriver.support.ui import Select

element = driver.find_element_by_xpath("xpath")
Select(element).select_by_index(indexnum) #Nach Index auswählen
Select(element).select_by_value("value") #Wert des Wertes
Select(element).select_by_visible_text("text") #Text anzeigen

Liste, wie Xpath angegeben wird

Informationen zum Abrufen anderer Knoten finden Sie hier

Beim Wechseln der Registerkarten

Wird verwendet, wenn beim Klicken eine neue Registerkarte ohne Seitenübergang erstellt wird

handle_array = driver.window_handles
driver.switch_to.window(handle_array[1])

Warten Sie, bis ein bestimmtes Element angezeigt wird

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

#Warten Sie, bis alle Elemente auf der Seite geladen sind (Timeout-Beurteilung in 15 Sekunden).
WebDriverWait(driver, 15).until(EC.presence_of_all_elements_located)

#Warten Sie, bis das Element auf der Seite mit der angegebenen ID geladen ist (Timeout-Beurteilung in 15 Sekunden).
WebDriverWait(driver, 15).until(EC.presence_of_element_located((By.ID, 'ID-Name')))

#KLASSENname Warten Sie, bis das Element auf der angegebenen Seite geladen ist (Timeout-Beurteilung in 15 Sekunden).
WebDriverWait(driver, 15).until(EC.presence_of_element_located((By.CLASS_NAME, 'Klassenname')))

#Warten Sie, bis das Element auf der Seite geladen ist, das durch den CLASS-Namen in Xpath angegeben ist (Timeout-Beurteilung in 15 Sekunden).
WebDriverWait(driver, 15).until(EC.presence_of_element_located((By.XPATH, 'xpath')))

Was tun, wenn Sie nicht klicken können?

target = driver.find_element_by_xpath('xpath')
driver.execute_script("arguments[0].click();", target)

Wie man Pandas benutzt

So erstellen Sie einen Datenrahmen und fügen Daten hinzu

import pandas as pd
columns = ['Gegenstand 1', 'Punkt 2', 'Punkt 3', 'Punkt 4', 'Punkt 5']
df = pd.DataFrame(columns=columns)

#Datenerfassungsprozess

se = pd.Series([data1, data2, data3, data4, data5], columns)
df = df.append(se, columns)

Beim Herunterladen von Pandas-Daten

from google.colab import files

filename = 'filename.csv'
df.to_csv(filename, encoding = 'utf-8-sig') 
files.download(filename)

Beim Speichern von Pandas-Daten auf meinem Laufwerk

from google.colab import drive

filename = filename.csv'
path = '/content/drive/My Drive/' + filename

with open(path, 'w', encoding = 'utf-8-sig') as f:
  df.to_csv(f)

So arbeiten Sie mit Tabellenkalkulationen

Vorbereitungen für die Arbeit mit Tabellenkalkulationen

#Laden Sie die Bibliotheken herunter, die für die Arbeit mit Tabellenkalkulationen erforderlich sind
!pip install gspread

from google.colab import auth
from oauth2client.client import GoogleCredentials
import gspread

#Authentifizierungsprozess
auth.authenticate_user()
gc = gspread.authorize(GoogleCredentials.get_application_default())

Häufig verwendeter Code

ss_id = 'Tabellenkalkulations-ID'
sht_name = 'Blattname'

workbook = gc.open_by_key(ss_id)
worksheet = workbook.worksheet(sht_name)

#Bei der Datenerfassung
worksheet.acell('B1').value
worksheet.cell(2, 1).value

#Beim Aktualisieren
worksheet.update_cell(row, column, 'Inhalt aktualisieren')

gspread Codeliste

Arbeitsmappenbetrieb

Sitzbetrieb

Zellmanipulation

[Referenzseite] BeautifulSoup4-Spickzettel (Selektor usw.) Python3-Memo - Wunderschönes Soup4-Zeug Grundlagen des CSS-Selektors für das Web-Scraping Zusammenfassung der häufig verwendeten Betriebsmethoden des Selenium-Webdrivers Was ist XPath? Lerne die Grundlagen von XPath! Unverzichtbar für Web Scraping! Zusammenfassung von Xpath Zusammenfassung der Verwendung der gspread-Bibliothek! Arbeiten mit Tabellenkalkulationen in Python