Как скопировать (скачать) сайт: обзор программ и сервисов

Обзор методов копирования

Мы рассмотрим методы, и постараемся описать преимущества и недостатки. На сегодняшний день существует два основных метода копирования сайтов:
ручной

автоматизированный.

Ручной метод

С ручным все понятно. Это когда через браузер в один клик сохраняете страницу, либо в ручную создаете все файлы страницы: html файл с исходным кодом верстки, js, css, картинки и т.д. Так себя мучать мы Вам не рекомендуем.

Загружаем html код страницы

Далее всё очень просто: находим интересующий нас проект, открываем главную страницу и нажимаем на клавиши ctrl + U. Браузер сразу же показывает нам её код. 

Копируем его, создаём новый файл в редакторе кода, вставляем код главной страницы, в новый файл, сохраняя его под названием index, с расширением html (index.html). Всё, главная страница сайта готова. Размещаем её в корне документа, то есть кладём файл индекс.html рядом с папками images, css и js

Далее чтобы скачать сайт целиком на компьютер проделываем тоже со всеми страницами сайта. (Данный метод подходит, только если ресурс имеет не слишком много страниц). Таким же образом, копируем все html-страницы понравившегося нам сайта в корневую папку, сохраняем их с расширением html и называем каждую из них соответствующим образом (не русскими буквами – contact.html, about.html).

Создаём css и js файлы

После того как мы сделали все страницы сайта, находим и копируем все его css стили и java скрипты. Для этого кликаем по ссылкам, ведущим на css и js файлы в коде.

Таким же образом как мы копировали файлы html, копируем все стили и скрипты создавая в редакторе Notepad++ соответствующие файлы. Делать их можно с такими же названиями, сохраняя их в папках сss и js. Файлы стилей кладём в папку css, а код java script в папку js.

 

Копируем картинки сайта

 Чтобы скачать сайт целиком на компьютер также нам нужны все его картинки. Их можно загрузить, находя в коде сайта и открывая по порядку одну за другой. Ещё можно увидеть все картинки сайта, открыв инструменты разработчика в браузере с помощью клавиши F12. Находим там директорию Sources и ищем в ней папку img или images В них мы увидим все картинки и фотографии сайта. Скачиваем их все, ложа в папку images. 

 

Убираем всё лишнее в html коде

После того как мы скачали все файлы сайта нужно почистить его код от всего лишнего. Например, можно удалить:

• код google analytics и yandex метрики;
• код верификации сайта в панелях для веб мастеров яндекса и гугла:
• можно удалить любой код, который нам не нужен и оставить тот, что нужен.

 

Автоматизированный

Рассмотрим наименее затратный способ — автоматизированный. К нему относятся онлайн сервисы (грабберы) для парсинга, и специальные десктопные программы. Чтобы Вам легче было выбрать, ниж рассмотрим более детально.

Преимущество онлайн сервисов заключается в том, что Вы получаете готовый результат, и не о чем не беспокоитесь. Ко всему прочему, Вы всегда можете спросить за результат. В редких случаях имеется возможность внесения правок в исходный код и дизайн силами исполнителя. К сожалению, данное удовольствие стоит денег, а потому для многих данный способ не приемлим.

Для тех, кто хочет сэкономить, на помощь приходят специальные программы для парсинга. Метод довольно затратный, если Вам нужно получить два-три сайта, т.к. каждая отдельная программа обладает своими особенностями, и для изучения Вам понадобится не мало времени.

А учитывая, что результат работы трудно редактируемый, то возникает вопрос: стоит ли тратить время на изучение, чтобы получить результат на который надо потратить еще кучу времени. Выбор за Вами.

Online сервисы для скачивания сайтов

Site2zip . Бесплатный ресурс, предоставляющий возможность сохранения веб-ресурсов всего за 3 клика, — первый необходим для ввода названия сайта, второй для ввода цифр с капчи, третий для нажатия на кнопку «Скачать».

Интересно! По утверждению разработчика этого сервиса, скачать сайт можно даже не за 3, а за 2 клика, судя по всему, подразумевается переход между полями обязательными для заполнения с помощью клавиши «Tab».

Явным недостатком данного ресурса является отсутствие каких-либо настроек, и поэтому сайт будет загружен целиком, при том что скорость сохранения довольно низкая. Данный ресурс подойдет для скачивания небольших сайтов.

Достоинства:
+ бесплатный;
+ простой интерфейс ресурса.

Недостатки:
— отсутствие настроек;
— медленная скорость закачки.

Robotools . Платный on—line ресурс для скачивания сайтов. Имеет интуитивно понятный, русский интерфейс.

Владелец ресурса предоставляет 4 тарифных плана, в которых плата зависит от количества скачиваемых html-страниц. Тарифные планы: 500 стр – 200 руб., 4000 стр – 800 руб., 9000 стр – 1500 руб., 20000 стр – 2500 руб.

Если одна или несколько закачанных страниц в силу каких-либо обстоятельств стали ненужными, их можно удалить не выполняя архивирования (сохранения), тем самым сохраняя средства на балансе.

Достоинства:
+ простой интерфейс ресурса;
+ возможность одновременной закачки нескольких сайтов;
+ возможности предпросмотра скачанных сайтов на сервере, при наличии лишних страниц их можно удалить не потеряв деньги за их скачивание.

Недостатки:
— платный.

Webparse.ru

Условно-бесплатный ресурс, позволяющий один раз воспользоваться его услугами бесплатно, после чего за скачивание сайтов придется платить.

Работает webparse.ru быстрее предыдущего ресурса, но делает это не бесплатно. В итоге получаем архив со скачанным сайтом. В настройках нет настройки глубины парсинга структуры скачиваемого сайта, поэтому убедиться, что удалось скачать сайт полностью, придется только самостоятельной сверкой оригинала и его копии.

Web2PDFConvert.com

Есть и другие способы сохранения сайтов на свой компьютер с помощью онлайн-ресурсов. Так, удобно пользоваться Web2PDFConvert.com. Он создаст PDF-файл, в котором будут страницы необходимого сайта. Конечно, часть функция (таких как гиперссылки, например), вы потеряете, но если сайт вам нужен только для текстовой информации, то им пользоваться удобно. Самое главное, что скачивается все быстро и бесплатно.

Другие ресурсы

Среди других способов можно отметить ресурс Web2PDFConvert.com, создающий PDF-файл со страницами скачиваемого сайта. Естественно, часть функционала сайта будет утеряна. Если это допустимо, то воспользоваться данным ресурсом можно.

Еще один ресурс, позволяющий скачать сайт – r-tools.org. К сожалению, пользоваться им можно только на платной основе.

Программы для скачивания сайтов

HTTrack WebSite Copier . Первой программой нашего обзора будет довольно популярная программа – HTTrack WebSite Copier.

Своей популярностью она обязана простому интерфейсу, поддержке русского языка, кроссплатформенности (возможность работы в большинстве версий операционной системы Windows, от 2000 до 7-й, а также в Linux/Unix/BSD) и главное — софт абсолютно бесплатен!

Установка приложения выполняется на английском языке, после установки в настройках есть возможность выбора русского языка. Скачивание веб-ресурса производится с помощью мастера.

Есть возможность выбора места для сохранения сайта, по умолчанию сайты сохраняются в «C:Мои Web Сайты».

Программа поддерживает возможность дозагрузки сайтов, если по какой-то причине загрузка была прервана. Также есть ряд полезных функций позволяющее настроить:

• тип скачиваемого контента (запретить/разрешить медиафайлы или архивы);
• максимальную глубину сканирования сайта (для большинства сайтов подходит глубина 3-4);
• первоочередного скачивания текстовой информации, после чего осуществлять загрузку медиа-контента;
• выключение компьютера после окончания загрузки.

Достоинства:
+ бесплатная;
+ кроссплатформенная;
+ простой, понятный, русифицированный интерфейс программы.

Недостатки:
— несколько устаревший интерфейс программы.

Teleport Pro . Платная программа для закачки сайтов. Цена лицензии 50$. Нет поддержки русского языка, хотя интерфейс довольно прост и его освоит даже новичок.

Позволяет выполнять на веб-странице поиск файлов определенного типа, размера, а также поиск по ключевым словам, формировать список всех страниц и файлов сайта.

Важно! При дозагрузке сайта, программа будет скачивать только изменившиеся за последнее время страницы, а также те, которые не удалось скачать ранее. Данная функция позволяет поддерживать наиболее полную и актуальную версию сайта для офлайн-доступа.

Достоинства:
+ простота в настройке и работе;
+ ограничение массового скачивания, во избежание блокировки и бана;
+ возможность интеграции в браузеры Opera, IE.

Недостатки:
— платная;
— нет поддержки русского языка;
— программа работает только в среде MS Windows;
— архаичный интерфейс программы.

Offline Explorer Pro . Программа от компании Metaproducts, для работы в среде MS Windows, за которую разработчики просят довольно немаленькие деньги.

Поставляется в трех версиях — Standard, Pro и Enterprise, цена 60, 150 и 600 долларов соответственно. За эти деньги пользователь получает возможность скачивать не только html-страницы, но и потоковое аудио и видео.

Имеет современный интерфейс, в котором приятно работать.

А также множество разнообразных настроек и функций, среди которых возможность одновременной обработки до 500 сайтов, загрузка запароленных сайтов, наличие собственного веб-сервера для комфортного просмотра скачанных ресурсов.

Важно! Одной из приятных особенностей программы является поддержка функции Drag—n—Drop, которая позволяет сохранять страницы путем их перетаскивания из браузера в программу.

Достоинства:
+ приятный, современный интерфейс;
+ есть поддержка русского языка;
+ существуют версии не требующие установки (Portable).

Недостатки:
— высокая цена лицензии.

Cyotek WebCopy . Бесплатная программа от компании Cyotek.

Имеет современный интерфейс, в котором приятно работать. Может сначала сканировать весь сайт, все ссылки что на нем есть, а после скопировать его.

Файлы сайта выгружаются в деректорию которую вы указываете. Вообщем простая и бесплатная программа которая подойдет для новичков.

Достоинства:
+ приятный, современный и простой интерфейс;
+ полностью бесплатна.

Недостатки:
— нет русского языка;
— иногда скачивает только html файл.

Teleport Pro

Одна из старейших программ, к сожалению, платная. Имеется тестовый период. После установки и запуска появится главное окно, где необходимо указать режим скачивания сайта. Это может быть полная копия, можно сохранить только определенный тип файлов и т. п.

После этого надо создать новый проект, который будет ассоциирован со скачиваемым сайтом и ввести адрес интересующего интернет-ресурса. По умолчанию глубина переходов по страницам имеет значение 3. Этот параметр можно изменить. После этого можно нажать кнопку «Далее».

Создастся новый проект, необходимо указать папку, в которую сохранять данные. Для запуска процедуры скачивания надо нажать кнопку «Start» (синий треугольник) в панели управления. Начнется процесс сохранения сайта на ваш диск.

GetLeft

Этот граббер с открытым исходным кодом существует уже давно, и на это есть веские причины. GetLeft — это небольшая утилита, позволяющая загружать различные компоненты сайта, включая HTML и изображения.

GetLeft очень удобен для пользователя, что и объясняет его долговечность. Для начала просто запустите программу и введите URL-адрес сайта, затем GetLeft автоматически анализирует веб-сайт и предоставит вам разбивку страниц, перечисляя подстраницы и ссылки. Затем вы можете вручную выбрать, какие части сайта вы хотите загрузить, установив соответствующий флажок.

После того, как вы продиктовали, какие части сайта вы хотите зазрузить, нажмите на кнопку. GetLeft загрузит сайт в выбранную вами папку. К сожалению, GetLeft не обновлялся какое-то время.

Спасибо, что читаете! Подписывайтесь на мой канал в Telegram и Яндекс.Дзен . Только там последние обновления блога и новости мира информационных технологий. Также, читайте меня в социальных сетях: Facebook , Twitter , VK ,  OK .

Offline Explorer

Еще одна платная, но весьма функциональная программа. Есть русифицированная версия. Триальная версия работает 30 дней, при этом есть ограничение на количество скачиваемых файлов – 2000. Программа существует разновидностях Standard, Pro и Enterprise. Самая дешевая версия стоит 59.95$, а самая дорогая – 599.95$.

Как и в других программах, работа начинается с того, что необходимо создать новый проект и указать адрес интересующего сайта. Доступно большое количеств настроек, при помощи которых можно отфильтровать ненужную информацию, задать глубину просмотра сайта и т. п.

После того как проект создан, отредактированы параметры загрузки, можно нажать кнопку «Загрузить» и дожидаться результата.

Возможностей у программы действительно много. Есть многопоточная загрузка, собственный веб-сервер для просмотра того, что было скачано, масса настроек. Если оценивать все возможности, то программа действительно ценная (уж простите за тавтологию), вот только стоимость ее неприлично высока.

Cyotek WebCopy

Англоязычная программа с солидно выглядящим интерфейсом и большими возможностями по настройке процедуры скачивания сайта. Достаточно только вести адрес интересующего ресурса, указать папку, в которую сохранить скачанные данные и нажать кнопку «Copy Website».

Все, теперь остается дождаться окончания работы программы и в указанном места найти файл «index.htm», который и будет начальной страницей ресурса, который подготовили для оффлайн-просмотра.

Из недостатков можно отметить только отсутствие русификации, а также то, что Cyotek WebCopy работает только на ОС Windows, начиная с версии Vista. Версий под другие ОС нет.

WinHTTrack WebSite Copier

Одна из самых популярных программ, предназначенных для создания оффлайн-копий сайтов. Справедливости ради надо сказать, что бесплатных аналогов практически нет.

Для того, чтобы пользоваться программой, надо скачать с сайта разработчика подходящую версию, проинсталлировать ее в свою систему и запустить. В первом окне будет предложено выбрать язык интерфейса. Среди всех вариантов есть и русский.

Интерфейс программы прост и запутаться в нем не получится. В первом окне надо указать имя и категорию проекта, а также указать место, где будет храниться скачиваемый сайт.

Теперь надо ввести адрес сайта, который надо скачать. Программа имеет большое количество настроек, где задается глубина просмотра сайта, определяются фильтры, указывающие что скачивать надо, а что – нет. Например, можно запретить скачку изображений, исполняемых файлов и т. п. Настроек много, и если есть необходимость, можно внимательно с ними ознакомиться.

В следующем окне надо нажать кнопку «Готово», после чего остается только дождаться окончания процесса. По окончании в указанной папке будут находиться файлы скачанного сайта. Для того, чтобы открыть его для просмотра необходимо выбрать файл index.htm.

Теперь папку с проектом можно скачивать на любой носитель и просматривать там, где это удобно.

Wget

Этот способ намного быстрее предыдущего. Скачиваем последнюю версию консольной программы wget здесь. 
 

Подробно об этой программе написано в Википедии и сейчас нет необходимости расписывать все нюансы её работы.

Далее распаковываем архив и создаём на диске С в папке Program Files папку с названием wget. Затем вставляем файлы из корневой папки распакованного архива в только что созданную папку.

 

После этого находим на рабочем столе системный значок «Компьютер», кликаем правой кнопкой мыши по нему, открываем «Свойства», заходим в «Дополнительные свойства системы», «Перемены среды» и находим здесь строку «Path» в директории «Системные переменные» и жмём на кнопку «Изменить».

Перед нами появится строка, в конце которой нужно поставить точку с запятой и затем вставить скопированный путь к папке wget на диске С (C:Program Fileswget). Вставляем его после точки с запятой в строке и сохраняем всё.

 

После этого чтобы скачать сайт целиком на компьютер, открываем консоль windows в директории «Пуск» и вводим в командную строку cmd. После этого мы увидим консоль, куда вводим wget –h чтобы убедится, что данное приложение работает.

После копируем url нужного сайта и вводим wget –page-requisites -r -l 10 http://adress-sayta.com и запускаем консоль. (Параметр –page-requisites отвечает за то чтобы все картинки, шрифты и стили сайта скачались. Если оставить этот параметр и вставить в конце только url сайта, то загрузится только его главная страница. Поэтому нужно добавить ключи -l и -r и 10-ый уровень вложенности глубины загрузки.

 
 

Всё, скачивание сайта началось. Скопированные файлы теперь находятся на диске С в папке «Пользователи», «Admin» (на windows 7). В папке «Админ» находим папку сайта со всеми его файлами. Запускаем файл index.html и убеждаемся, что веб-ресурс скачан на компьютер полностью и он такой же, как он-лайн.

Как переделать сайт под себя?

Результат работы сервиса представлен в виде структурированной информации упаковонной в архиве, поэтому у Вас не будет вопросов типа: «как сохранить на компьютер копию сайта?». По сути сайт работает на платформе с сохранением оригинальной структуры. Это делает сайт наиболее гибким для редактирования, что позволит Вам без труда отредактировать исходный код у себя на компьютере используя блокнот. Более того, код самого движка написан на php и является открытым.

Все страницы сайта находятся в одной папке без какого либо мусора и вложенности. Удобный роутер URL (адресов) позволяет эмулировать какие угодно адреса страниц. Конфигурационные файлы позволяют: задать переменные, массово заменить участки кода, замена по регулярным выражениям.

Без проблем разместите ресур на своем домене. Для того, чтобы переделать сайт под себя, необходимо ознакомится с мануалом. Это не займет много времени. Для изучения желательно иметь базовые знания html и php. Но если у Вас с этим проблемы, — мы и об этом позаботились, написав отдельную статью с готовыми примерами кода.