[LINUX] Laden Sie die gesamte Website herunter, um sie offline zu lesen

Welche Website möchten Sie herunterladen?

Aber denken Sie daran. Je größer die Site, desto größer der Download. Wir empfehlen nicht, große Websites wie Qiita herunterzuladen. Dies liegt daran, dass Tausende von MB erforderlich sind, um alle von Ihnen verwendeten Mediendateien zu speichern.

Die besten Websites zum Herunterladen sind Websites mit viel Text und wenigen Bildern sowie Websites, die nicht regelmäßig neue Seiten hinzufügen oder ändern. Idealerweise sollten Sie über eine statische Informationssite, eine Online-E-Book-Site oder eine Site verfügen, die Sie archivieren möchten, falls sie ausfällt.

Es ist einfach, einzelne Webseiten für das Offline-Lesen zu speichern. Was ist jedoch, wenn Sie die gesamte Website herunterladen möchten? Nun, es ist einfacher als du denkst! Hier sind einige nützliche Tools, mit denen Sie eine Website zum Offline-Lesen herunterladen können.

Wget ist ein Befehlszeilenprogramm, mit dem Sie alle Dateitypen über HTTP- und FTP-Protokolle abrufen können. Wget ist ein großartiges Tool zum Rippen von Websites, da Websites über HTTP bereitgestellt werden und auf die meisten Webmediendateien über HTTP oder FTP zugegriffen werden kann.

Wget

Verfügbar für Windows, Mac und Linux.

Wget wird normalerweise zum Herunterladen einer einzelnen Datei verwendet, kann jedoch zum rekursiven Herunterladen aller Seiten und Dateien verwendet werden, die auf der ersten Seite gefunden wurden.

wget -r -p https://www.joeyoder.com

Bei einigen Websites kann das Rippen einer Website jedoch viel Bandbreite beanspruchen und Sie möglicherweise erkennen und daran hindern. Um dies zu vermeiden, können Sie die Benutzeragentenzeichenfolge verwenden, um sich als Webbrowser auszugeben.

wget -r -p -U Mozilla https://www.joeyoder.com

Wenn Sie höflich sein möchten, müssen Sie die Download-Geschwindigkeit begrenzen (um die Bandbreite des Webservers nicht zu belegen) und zwischen den Downloads pausieren (den Webserver nicht mit zu vielen Anforderungen überlasten). Um dies zu tun).

wget -r -p -U Mozilla --wait = 10 --limit-rate = 35K https://www.joeyoder.com

Wget wird mit den meisten Unix-basierten Systemen gebündelt. Auf einem Mac können Sie Wget mit einem Homebrew-Befehl installieren: Brew Install Wget (wie man Homebrew auf einem Mac einstellt). Unter Windows sollten Sie stattdessen diese portierte Version verwenden.

Andere WebCopy

Nur unter Windows verfügbar.

Cyoteks WebCopy ruft die Website-URL ab und sucht nach Links, Seiten und Medien. Wenn eine Seite gefunden wird, sucht sie rekursiv nach weiteren Links, Seiten und Medien, bis die gesamte Website gefunden wird. Mithilfe der Konfigurationsoptionen können Sie dann bestimmen, welche Teile offline heruntergeladen werden sollen.

Das Interessante an WebCopy ist, dass Sie mehrere "Projekte" mit jeweils eigenen Einstellungen und Konfigurationen einrichten können. Dies macht es einfach, viele verschiedene Websites jederzeit erneut herunterzuladen.

Sie können viele Websites in einem Projekt kopieren. Verwenden Sie sie daher in einem übersichtlichen Plan (z. B. ein "High-Tech" -Projekt zum Kopieren von High-Tech-Websites). So laden Sie die gesamte Website mit WebCopy herunter

Installieren und starten Sie die App. Gehen Sie zu Datei> Neu und erstellen Sie ein neues Projekt. Geben Sie die URL in das Feld Website ein. Ändern Sie das Feld Ordner speichern in den Speicherort, an dem Sie die Site speichern möchten. Spielen Sie mit Projekt> Regeln (siehe Details zu den WebCopy-Regeln). Gehen Sie zu Datei> Speichern unter und speichern Sie Ihr Projekt. Klicken Sie in der Symbolleiste auf Website kopieren, um den Vorgang zu starten.

Nach Abschluss des Kopiervorgangs können Sie auf der Registerkarte Ergebnisse den Status einzelner Seiten und Mediendateien überprüfen. Auf der Registerkarte Fehler wird das aufgetretene Problem angezeigt, und auf der Registerkarte Überspringen werden die Dateien angezeigt, die nicht heruntergeladen wurden.

Am wichtigsten ist jedoch die Sitemap, die die vollständige Verzeichnisstruktur der von WebCopy erkannten Website anzeigt.

Um die Website offline anzuzeigen, öffnen Sie den Datei-Explorer und navigieren Sie zu dem von Ihnen angegebenen Speicherordner. Öffnen Sie index.html (oder in einigen Fällen index.htm) in Ihrem ausgewählten Browser, um mit dem Surfen zu beginnen.

HTTrack

Holen Sie sich mit WinHTTRack eine Webseite zum Offline-Lesen

Verfügbar für Windows, Linux und Android.

HTTrack ist definitiv besser als WebCopy, da es populärer, Open Source und auf anderen Plattformen als Windows verfügbar ist, aber die Benutzeroberfläche ist etwas schwierig und es ist viel erwünscht. Aber es funktioniert gut, also lass dich nicht erweichen.

Ähnlich wie bei WebCopy können Sie einen projektbasierten Ansatz verwenden, um mehrere Websites zu kopieren und alle zu organisieren. Sie können den Download anhalten und fortsetzen oder die alten und neuen Dateien erneut herunterladen, um die kopierte Website zu aktualisieren. So laden Sie eine Website mit HTTrack herunter

Installieren und starten Sie die App. Klicken Sie auf Weiter, um ein neues Projekt zu erstellen. Geben Sie Ihrem Projekt einen Namen, eine Kategorie und einen Basispfad und klicken Sie dann auf Weiter. Wählen Sie Websites für Aktionen herunterladen aus und geben Sie die URL jeder Website in das Feld Webadresse ein, eine pro Zeile. Sie können die URL auch in einer TXT-Datei speichern und importieren. Dies ist nützlich, wenn Sie dieselbe Site später erneut herunterladen. Weiter klicken. Passen Sie die Parameter nach Bedarf an und klicken Sie auf Fertig stellen.

Sobald alles heruntergeladen ist, können Sie die Site wie gewohnt durchsuchen, indem Sie zu dem Speicherort navigieren, an dem die Datei heruntergeladen wurde, und index.html oder index.htm in Ihrem Browser öffnen.

English Language Command Reference Download entire website offline

Wget

Available for Windows, Mac, and Linux.

While Wget is typically used to download single files, it can be used to recursively download all pages and files that are found through an initial page:

wget -r -p https://www.joeyoder.com

However, some sites may detect and prevent what you're trying to do because ripping a website can cost them a lot of bandwidth. To get around this, you can disguise yourself as a web browser with a user agent string:

wget -r -p -U Mozilla https://www.joeyoder.com

If you want to be polite, you should also limit your download speed (so you don't hog the web server's bandwidth) and pause between each download (so you don't overwhelm the web server with too many requests):

wget -r -p -U Mozilla --wait=10 --limit-rate=35K https://www.joeyoder.com

Wget comes bundled with most Unix-based systems. On Mac, you can install Wget using a single Homebrew command: brew install wget (how to set up Homebrew on Mac). On Windows, you'll need to use this ported version instead.

Other WebCopy

Available for Windows only.

WebCopy by Cyotek takes a website URL and scans it for links, pages, and media. As it finds pages, it recursively looks for more links, pages, and media until the whole website is discovered. Then you can use the configuration options to decide which parts to download offline.

The interesting thing about WebCopy is you can set up multiple "projects" that each have their own settings and configurations. This makes it easy to re-download many different sites whenever you want, each one in the same exact way every time.

One project can copy many websites, so use them with an organized plan (e.g. a "Tech" project for copying tech sites). How to Download an Entire Website With WebCopy

Install and launch the app.
Navigate to File > New to create a new project.
Type the URL into the Website field.
Change the Save folder field to where you want the site saved.
Play around with Project > Rules… (learn more about WebCopy Rules).
Navigate to File > Save As… to save the project.
Click Copy Website in the toolbar to start the process.

Once the copying is done, you can use the Results tab to see the status of each individual page and/or media file. The Errors tab shows any problems that may have occurred and the Skipped tab shows files that weren't downloaded.

But most important is the Sitemap, which shows the full directory structure of the website as discovered by WebCopy.

To view the website offline, open File Explorer and navigate to the save folder you designated. Open the index.html (or sometimes index.htm) in your browser of choice to start browsing.

HTTrack

Grab a webpage for offline reading with WinHTTRack

Available for Windows, Linux, and Android.

HTTrack is more known than WebCopy, and is arguably better because it's open source and available on platforms other than Windows, but the interface is a bit clunky and leaves much to be desired. However, it works well so don't let that turn you away.

Like WebCopy, it uses a project-based approach that lets you copy multiple websites and keep them all organized. You can pause and resume downloads, and you can update copied websites by re-downloading old and new files. How to Download a Website With HTTrack

Install and launch the app.
Click Next to begin creating a new project.
Give the project a name, category, base path, then click Next.
Select Download web site(s) for Action, then type each website's URL in the Web Addresses box, one URL per line. You can also store URLs in a TXT file and import it, which is convenient when you want to re-download the same sites later. Click Next.
Adjust parameters if you want, then click Finish.

Once everything is downloaded, you can browse the site like normal by going to where the files were downloaded and opening the index.html or index.htm in a browser.

credit to original Author Joel Lee (1604 Articles Published)

Japanisch direkt an die Quelle https://tinyurl.com/website-backup-wget-japanese

Gutschrift an den ursprünglichen Autor

Joel Lee (1604 Artikel veröffentlicht)

Japanisch direkt an die Quelle https://tinyurl.com/website-backup-wget-japanese

Recommended Posts

Laden Sie die gesamte Website herunter, um sie offline zu lesen