Installieren Sie Scrapy auf Python3
Als ich "Web Scraping mit Python" las, entschied ich mich für Scrapy für einige, aber ich konnte es nicht gut installieren, deshalb werde ich die Lösung kurz zusammenfassen. (Übrigens werden die oben genannten Bücher hauptsächlich mit Beautiful Soup abgekratzt)
Umgebung einstellen
MacBook Air (13-inch, Mid 2011) Prozessor: 1,8 GHz Intel Core i7 Speicher: 4 GB 1333 MHz DDR3 Version: 10.11.5 Python: 3.6.2
Versuchen Sie, Scrapy zu setzen
1, Dieses Mal werde ich es in die Umgebung von Python3 setzen.
$ pip3 install scrapy
Dann ... habe ich folgenden Fehler erhalten. Anscheinend sollte die Version von pip aktualisiert werden.
You are using pip version 8.1.1, however version 8.1.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
2, Befolgen Sie die Anweisungen in der Fehleranweisung, um pip zu aktualisieren.
$ pip3 install --upgrade pip
Wieder gibt es einen Fehler ... Diesmal scheint es um xcode zu gehen.
1 error generated.
*********************************************************************************
Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
Perhaps try: xcode-select --install
*********************************************************************************
error: command '/usr/bin/clang' failed with exit status 1
3, Befolgen Sie als Nächstes einfach die Anweisungen und geben Sie den Befehl ein.
$ xcode-select --install
xcode-select: note: install requested for command line developer tools
Dann wird ein Dialogfeld angezeigt, also stimmen Sie zu und DL die Entwicklertools.
4, Führen Sie nach dem Herunterladen die folgenden Schritte erneut aus, um die Installation abzuschließen.
$ sudo pip3 install scrapy
(Weggelassen)
Installing collected packages: lxml, parsel, scrapy
Running setup.py install for lxml ... done
Successfully installed lxml-3.6.0 parsel-1.0.2 scrapy-1.1.0
Recommended Posts