Vorbereitung zum Schaben mit Python [Schokoladengeschmack]

Schokoladenige Installation

Erstens ist es ohne Chocolatey zu mühsam, also installieren Sie es. Wenn Sie es bereits installiert haben, überspringen Sie es.

Starten Sie Powershell mit Administratorrechten. Versuchen Sie, "choco" vor der Installation auszuführen.

Administrator's-Powershell

$> choco
choco :der Begriff'choco'Wird nicht als Name eines Cmdlets, einer Funktion, einer Skriptdatei oder eines bedienbaren Programms erkannt. Stellen Sie sicher, dass der Name richtig geschrieben ist und wenn der Pfad enthalten ist, sein pa
Stellen Sie sicher, dass es korrekt ist, und versuchen Sie es erneut.
Standortzeile:Ein Charakter:1
+ choco
+ ~~~
    + CategoryInfo          : ObjectNotFound: (choco:String) [], CommandNotFoundException
    + FullyQualifiedErrorId : CommandNotFoundException

Sie können sehen, dass es nicht installiert ist.

Führen Sie dann den folgenden Installationsbefehl aus.

Administrator's-Powershell

Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))

Hinweis: Suchen Sie unter "Chocolatey installieren" nach neuen Installationsbefehlen.

Öffnen Sie die Powershell mit Administratorrechten erneut. Führen Sie "choco" erneut aus, um die Version und das Hilfemenü anzuzeigen.

Administrator's-Powershell

$> choco
Chocolatey v0.10.15
Please run 'choco -?' or 'choco <command> -?' for help menu.

Wenn Sie diesen Punkt erreicht haben, fahren Sie mit dem nächsten fort.

Installation von Visual Studio Code

Starten Sie Powershell mit Administratorrechten. Führen Sie den folgenden Befehl aus.

Administrator's-Powershell

choco install vscode

Wenn Sie zwei Befehle ausführen, "refreshesv" und "code", wird vscode geöffnet.

Installation des Visual Studio Code Extension Pack

Installieren Sie die folgenden zwei Install Extensions. Ich habe nur die erforderlichen Erweiterungen aufgelistet. Empfohlene Erweiterungen werden hier nicht erwähnt.

• Japanese Language Pack for Visual Studio Code
• Wird verwendet, um die Benutzeroberfläche auf Japanisch anzuzeigen.
• Python
• Dies ist erforderlich, um Python zu debuggen.

Empfohlene Erweiterungseinstellungen

Wenn Sie ".vscode / Extentions.json" wie folgt erstellen, können Sie viel Installationsarbeit sparen. Außerdem ist es einfach, auf Github zu teilen.

json-doc:.vscode/extentions.json

{
	// See https://go.microsoft.com/fwlink/?LinkId=827846 to learn about workspace recommendations.
	// Extension identifier format: ${publisher}.${name}. Example: vscode.csharp

	// List of extensions which should be recommended for users of this workspace.
	"recommendations": [
		"coenraads.bracket-pair-colorizer-2",
		"github.vscode-pull-request-github",
		"ms-python.python",
		"mechatroner.rainbow-csv",
	],
	// List of extensions recommended by VS Code that should not be recommended for users of this workspace.
	"unwantedRecommendations": [
		
	]
}

Miniconda3-Installation

Starten Sie Powershell mit Administratorrechten Führen Sie den folgenden Befehl aus.

Administrator's-Powershell

choco install miniconda3

Im Startmenü Anaconda Powershell Prompt (miniconda3) Wenn ja, ist es ein Erfolg.

Erstellen Sie eine virtuelle Umgebung

Im Startmenü Anaconda Powershell Prompt (miniconda3) Es sollte geben, also fang an. Führen Sie den folgenden Befehl aus, um eine virtuelle Umgebung zu erstellen.

Anaconda-Powershell-Prompt-(miniconda3)

conda create --name scraping-env-name

Hinweis: Einzelheiten zum Befehl finden Sie in der Befehlsreferenz (https://docs.conda.io/projects/conda/en/latest/commands.html). Hinweis: Scraping-env-name ist ein Platzhalter.

Wenn Sie zu diesem Zeitpunkt die Datei mit der Erweiterung ".py" mit VS-Code öffnen, können Sie die gerade erstellte virtuelle Umgebung auswählen.

Aktivierung der virtuellen Umgebung

Anaconda-Powershell-Prompt-(miniconda3)

conda activate scraping-env-name

Hinweis: Einzelheiten zum Befehl finden Sie in der Befehlsreferenz (https://docs.conda.io/projects/conda/en/latest/commands.html).

Fügen Sie conda-forge als Kanal hinzu

Welchen Repository-Kanal verwendet beispielsweise in derselben Bibliothek mit dem Namen "numpy" "numpy"? Das wird zum Problem. Standardmäßig stammt es aus dem Anaconda-Kanal, aber ich mag Conda-Forge, also werde ich darauf umsteigen.

Conda-Forge zum Repository-Kanal hinzugefügt

Anaconda-Powershell-Prompt-(miniconda3)

conda config --add channels conda-forge
conda config --set channel_priority strict

Bibliothekspakete installieren

Führen Sie den folgenden Befehl mit aktivierter virtueller Umgebung aus, die Sie für die Entwicklung verwenden möchten. Die Bibliothek wird in einer leeren virtuellen Umgebung installiert.

Anaconda-Powershell-Prompt-(miniconda3)

conda install python lxml beautifulsoup4 selenium pylint yapf

python Ohne das wird nichts anfangen. Python. 3 Serien werden installiert. lxml Eine Parser-Bibliothek für die Arbeit mit XML und HTML. beautifulsoup4 beautifulsoup ist eine Wrapper-Bibliothek, die den Parser zur Vereinfachung der Verwendung umschließt. Ein Charakter namens "Mock Turtle" singt bei "Alice im Wunderland" Es scheint, dass "schöne Suppe!" Häufig in "Schildkrötensuppe" vorkommt. selenium Selenium ist ein Browser-Automatisierungstool und eine gleichnamige Bibliothek für die Arbeit damit. pylint Seien Sie vorsichtig mit dem VScode-Linter, also setzen Sie ihn im Voraus ein. yapf Seien Sie vorsichtig, wenn Sie im Kontextmenü von VScode "Dokument formatieren" auswählen. Geben Sie es daher im Voraus ein. Sie werden gefragt: "Ich habe keinen Formatierer namens" autopep8 ". Kann ich ihn eingeben?" Ich bin jedoch ein Junge, der Google liebt, also werde ich "yapf" eingeben. Dies ist die Entscheidung! 3 stärkste automatische Code-Formatierungswerkzeuge!

Auch wenn die Bibliotheken in keiner bestimmten Reihenfolge installiert sind

Übrigens spielt die Reihenfolge, in der die Bibliotheken installiert werden, keine Rolle. Seien Sie versichert, dass Bibliotheksabhängigkeiten automatisch aufgelöst werden.

WebDriver installieren

Selenium steuert automatisch Ihren Browser. Ich möchte Chrome automatisch betreiben, also installieren Sie den Chrome-Treiber. Derzeit ist es nicht erforderlich, Google Chrome zu installieren.

Administrator's-Powershell

choco install selenium-chrome-driver

• Weitere WebDrivers finden Sie in dieser Kurzreferenz.

Arbeitsbereichseinstellungen

Wenn Sie alle Einstellungen bis zu diesem Punkt durchlaufen haben, sollten Sie die Arbeitsbereichseinstellungen wie folgt sehen.

json-doc:.vscode/settings.json

{
    "python.pythonPath": "C:\\tools\\miniconda3\\envs\\scraping-env-name\\python.exe",
    "python.formatting.provider": "yapf"
}

Ich habe gerade den Formatierer yapf installiert. Wenn Sie später zu "autopep8" oder "schwarz" wechseln möchten, können Sie hier wechseln.

Miniconda-Pfad

Wenn Sie miniconda3 mit schokoladig installieren, wenn Sie das Programm ausführen

conda: The term 'conda' is not recognized as the name of a cmdlet, function, script file, or operable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

Nachricht wird angezeigt. Es gibt kein Problem mit der Operation, aber ich mache mir Sorgen darüber, also stellen Sie sie richtig ein.

Fügen Sie `` python.condaPath ":" C: \ tools \ miniconda3 \ Scripts " zur Einstellungsdatei .vscode / settings.json` hinzu

json-doc:.vscode/settings.json

{
    "python.pythonPath": "C:\\tools\\miniconda3\\envs\\scraping-env-name\\python.exe",
    "python.formatting.provider": "yapf",
    "python.condaPath": "C:\\tools\\miniconda3\\Scripts"
}

ist geworden.

Funktionsprüfung

Schreiben Sie vorerst einen Code wie diesen. Wenn Sie die Taste F5 drücken und keine Fehlermeldung angezeigt wird, können Sie loslegen.

test001.py

import lxml 
from bs4 import BeautifulSoup

from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.keys import Keys

options = ChromeOptions()
# options.add_argument('--headless')
driver = Chrome(options=options)

Firewall-Einstellungen

Wenn Sie zum ersten Mal ein Python-Programm ausführen, blockiert die Firewall Python. Überprüfen Sie die aktuellen Einstellungen für die Internetverbindung im Voraus und wählen Sie entweder privat oder öffentlich aus. Nachdem Sie Ihre Auswahl getroffen haben, klicken Sie auf "Zugriff zulassen". Dann wird eine Firewall-Regel erstellt, Python in dieser virtuellen Umgebung wird nicht blockiert und kann normal kommunizieren.

Wenn Sie einen Fehler machen, können Sie ihn mit wf.msc überprüfen und ändern.

Oder Sie können es über "Zulässige Apps" tun. "Systemsteuerung \ Alle Elemente der Systemsteuerung \ Windows Defender Firewall \ Zulässige Apps"

Oder ich denke, Sie können "Get-NetFirewallRule", "New-NetFirewallRule" und "Set-NetFirewallRule" vollständig nutzen.

Na dann

Ziel ist es, ein wunderbarer Kratzmeister zu sein

Excelsior!

Referenzmaterial

https://docs.conda.io/projects/conda/en/latest/commands.html