Сделать автономную копию сайта с Wget в Windows и Linux

Создание автономной зеркальной копии сайта с помощью Wget в Windows и Linux

Иногда вам нужно получить доступную для просмотра копию веб-сайта, поэтому вы можете получить к нему доступ в автономном режиме, вставить на USB-накопитель или даже загрузить на свой смартфон и прочитать его во время полета или путешествия. Хотя в современных браузерах и операционных системах легко сохранить веб-страницу в формате PDF, обработка каждой отдельной страницы может раздражать. А вот и wget.

Wget — менеджер загрузок с открытым исходным кодом. Это консольное приложение, разработанное в первую очередь для Linux, но успешно перенесенное на другие ОС, включая Windows и MacOS.

Если вы не знакомы с wget, вам обязательно стоит попробовать. Это очень мощно. Он позволяет получать файлы с веб-сайтов, используя HTTP, HTTPS и FTP, Интернет-протоколы, которые мы используем в наши дни. Его поведение контролируется аргументами командной строки.

Wget поддерживает множество параметров для извлечения файлов при медленных или нестабильных соединениях, включая повторные попытки, продолжение с того места, где он был оставлен, и многое другое. Он поддерживает файл robots.txt, поэтому может работать как поисковый робот. Он может извлекать только измененные файлы, поддерживает подстановочные знаки, ограничения на типы файлов и обычные расширения.

Wget поддерживает рекурсивное извлечение веб-сайтов HTML и FTP-серверов, позволяя вам создать зеркало веб-сайта. Вот как это можно сделать.

Прежде чем продолжить, вам нужно получить приложение wget.

Получить Wget в Windows

Обычно я использую двоичные файлы из этих источников:

  • EternalBored
  • SourceForge

Оба делают свою работу.

Получить Wget в Linux

Используйте диспетчер пакетов вашего дистрибутива. Некоторые примеры (запустите их как root):

Debian/Ubuntu/Mint:

apt install wget

CentOS/Redhat

yum install wget

Arch Linux

pacman -Sy wget

Void Linux

xbps-install -S wget

Чтобы создать автономную копию сайта с помощью Wget,

  1. Откройте командную строку/терминал.
  2. В Windows введите полный путь к файлу wget.exe.
  3. В Linux введите только wget.
  4. Теперь введите следующие аргументы, чтобы получить следующую команду: wget --mirror --convert-links --adjust-extension --page-Requisites --no-parent https://site-to-download.com
  5. Заменить часть https://site-to-download.com с фактическим URL-адресом сайта, который вы хотите сделать зеркалом.

Вы готово!

Вот используемые нами переключатели:

  • - зеркало — применяет ряд параметров чтобы сделать загрузку рекурсивной.
  • - no-parent — не сканировать родительский каталог, чтобы получить только часть сайта.
  • - convert-links — заставляет все ссылки корректно работать с офлайн-копией.
  • - реквизиты страницы — загрузите файлы JS и CSS, чтобы сохранить исходный стиль страницы при просмотре локального зеркала.
  • - adjust-extension — добавляет соответствующие расширения (например, html, css, js) к файлам, если они были получены без них.
Оцените статью
digitdocom.ru
Добавить комментарий