Laden Sie mit Python Dateien im Web herunter

Laden Sie die Datei auf den Webserver herunter

Ich habe ein nützliches Programm in Python geschrieben, als ich es automatisch herunterladen wollte. Mit urllib ist dies sehr einfach.

download.py



#!/usr/bin/env python
#-*- coding:utf-8 -*-

import urllib.request
import sys

def download():

	url = sys.argv[1]
	title = sys.argv[2]
	urllib.request.urlretrieve(url,"{0}".format(title))

if __name__ == "__main__":
	download()

Ausführungsmethode


python download.py [url] [Dateititel]

Bei der Ausführung wird eine Datei im selben Verzeichnis wie die Datei download.py erstellt. (Wenn Sie den absoluten Pfad in den Dateititel eingeben, wird dieser auf diesem Pfad erstellt.)

sys.argv kann durch Importieren des Moduls sys verwendet werden. Der Dateiname des Programms wird in sys.argv [0] eingegeben, und die Argumente, die bei der Ausführung im Terminal eingegeben werden, werden in der Reihenfolge von sys.argv [1] zugewiesen. Wenn Sie mehrere Dateien automatisch herunterladen möchten, ermitteln Sie die Regelmäßigkeit der URL oder kratzen Sie mit einem Modul wie Beautifulsoup, um die URL zu extrahieren und die for-Anweisung zu verwenden. Sie können dies tun, indem Sie download () mehrmals ausführen.

Regelmäßigkeit bedeutet, dass bei einer Bild-URL wie "https: //hogehoge/service/10-1.png " 3 von 3-1.png eine Kategorie und 1 eine Seriennummer ist. Es kann vorkommen. Wenn Sie sich mehrere Beispiele ansehen und Regelmäßigkeit feststellen, können Sie sie alle gleichzeitig herunterladen. (Da dies die Serverseite belastet, ist es besser, beispielsweise time.sleep (0.1) in das Skript einzufügen.)

Referenz

urllib sys Beautifulsoup

Recommended Posts

Laden Sie mit Python Dateien im Web herunter
Speichern Sie Bilder im Web mit Python (Colab) auf einem Laufwerk.
Visualisieren Sie Ihre Taschengelddateien mit Dash, dem Python-Webframework
Gewinnen Sie die Python + Flask-Web-App mit Jenkins
Einführung in Python mit Atom (unterwegs)
Extrahieren Sie die Tabelle der Bilddateien mit OneDrive & Python
[Python] So legen Sie den Download-Speicherort mit youtube-dl fest
Sortieren von Bilddateien mit Python (2)
Sortieren Sie große Dateien mit Python
Machen Sie mit Python einen Haltepunkt auf der c-Ebene
[Python] So speichern Sie Bilder mit Beautiful Soup sofort im Web
Web-API mit Python + Falcon
Bilddateien mit Python sortieren
Integrieren Sie PDF-Dateien in Python
TXT-Dateien mit Python lesen
Rufen Sie die API mit python3 auf.
Webanwendung mit Python + Flask ② ③
Web Scraping Anfänger mit Python
Laden Sie die CSV-Datei mit Python herunter
Optimieren Sie die Websuche mit Python
Webanwendung mit Python + Flask ④
Test.py wird auf dem Webserver in Python3 nicht angezeigt.
Greifen Sie mit python27 / pyodbc auf dem Container auf den SQL Server des Hosts zu
[Teil 2] Crawlen mit Python! Klicken Sie auf die Webseite, um sich zu bewegen!
[CleanArchitecture with Python] Teil 2: Frameworks & Drivers Layer: Die Entstehung des Web
Extrahieren Sie die xz-Datei mit Python
Extrahieren Sie Zip-Dateien rekursiv mit Python
Implementierter Dateidownload mit Python + Bottle
Bearbeiten von EAGLE .brd-Dateien mit Python
Erste Schritte mit Python-Webanwendungen
Web Scraping mit Python Erster Schritt
Ich habe versucht, WebScraping mit Python.
Überwachen Sie Python-Webanwendungen mit Prometheus
Holen Sie sich das Wetter mit Python-Anfragen
Holen Sie sich Web-Screen-Capture mit Python
Holen Sie sich das Wetter mit Python-Anfragen 2
Laden Sie Google Drive-Dateien in Python herunter
Mit OpenSSL mit Python 3 verschlüsselte Dateien entschlüsseln
Finden Sie die Bearbeitungsentfernung (Levenshtein-Entfernung) mit Python
Klicken Sie mit Python auf die Etherpad-Lite-API
Installieren Sie das Python-Plug-In mit Netbeans 8.0.2
Installieren Sie die Datendatei mit setup.py
Laden Sie die mit appcfg.py bereitgestellte Datei herunter
Klicken Sie auf die Web-API in Python
Behandeln Sie Excel-CSV-Dateien mit Python
Ich mochte den Tweet mit Python. ..
Lesen Sie Dateien parallel zu Python
Hinweise zur Verwendung von rstrip mit Python.
Beherrsche den Typ mit Python [Python 3.9 kompatibel]
Erste Schritte mit Python 3.8 unter Windows
Sakura Verwenden von Python im Internet
[Memo] Tweet auf Twitter mit Python
Lebensspiel mit Python [ich habe es geschafft] (auf Terminal & Tkinter)
Wie ist der Fortschritt? Lassen Sie uns mit dem Boom in Python weitermachen
Steuern Sie den Motor mit einem Motortreiber mit Python auf Raspberry Pi 3!
Die erste künstliche Intelligenz. Fordern Sie die Webausgabe mit Python heraus. ~ Kolbeneinführung
Erste Schritte mit dem Python-Framework Django unter Mac OS X.