Offline Explorer - обзор

Доброго времени суток, уважаемый читатель. Прежде чем начать читать статью задумайтесь над таким вопросом, сколько денег в месяц вы тратите на Интернет? Подумали. Так, а теперь подумайте сколько хотите за него платить? Только не нужно думать о бесплатном Интернете, т.к. эта привилегия не многих из нас, и таким людям вряд ли понадобится материал этой статьи. Опять подумали. Так вот к чему я клоню. По моим данным, e-белорус в среднем проводит около 1 часа в сутки в сети, теперь, выполнив простейшие математические вычисления, получаем около 30 часов в месяц. По тарифам беспарольника это примерно 25 тысяч белорусских рублей. Причем считал я по ночному тарифу. Теперь подумаем над третьим вопросом: что мы делаем в Интернете? Ну, первым делом, мы забираем оттуда нашу почту. Для этого много времени не нужно. Microsoft давным давно позаботилась о нас и встроила в свою операционную систему почтовую программу MS Outlook Express, за что и получила по голове от Министерства Юстиции Соединенных Штатов по обвинению в монополизме. Ну, это их там разборки, а вот лично я не очень уважаю эту программу из-за её довольно слабенькой системы безопасности и давно пользуюсь очень легким и быстрым, но не бесплатным The Bat! Ну, я немного отвлекся. Итак. С помощью этих программ почта принимается за считанные секунды, и не нужно сидеть в браузере и смотреть там вместе с почтой, рекламу о новом открывшемся сайте знакомств, где намек ведется совсем не на знакомства. Итак, с почтой всё понятно. Далее. Мы частенько любим в Интернете потрепаться с друзьями в чате. Лично я не приверженец всяких веб-чатов и кроме аськи и, иногда, мессенджера, не пользуюсь для общения ничем. Вот тут процесс не автоматизируешь, так как для общения ты в любом случае ты должен быть в сети и в оффлайн такое действие можно перенести разве что очередной какой-нибудь чаткой. Ну и самое, как мне кажется главное и полезное, что мы делаем постоянно в Интернете – это ищем нужную нам информацию. Этот процесс, как правило, самый долгий и самый бесполезный при работе в Интернете. Почему бесполезный? Да потому что, найдя необходимую информацию, мы, как правило, просто сидим и читаем то, что там написано. А в это время канал наш пустует. Получается, мы просто выбрасываем деньги на ветер. Ну что же. А почему бы не поступить тут, так же как и с почтой? Накачал информации на веник и сиди, читай в любое свободное время. Тут вы вспомните, что в любом браузере можно сохранить страничку с картинками или без них себе на жесткий диск. Я сам так поступаю довольно часто. Но это хорошо когда вся нужная нам информация размещена на одной страничке. А когда вам нужен сайт целиком? Вот тут уже просто можно подорвать нервы, сохраняя каждую страничку на диск. Причем обойти весь сайт довольно трудно. Не на каждом ресурсе делают его карту. А это только прибавляет шансов на то, что весь сайт вам не обойти. Итак, для того чтобы вам было проще работать, а провайдер не выжал из вас последние деньги, умные люди придумали программки, которые называются оффлайн менеджеры или оффлайн браузеры. Назначение у них простейшее. Скачивать сайты из Интернета и смотреть их в любое свободное для вас время. Самым популярным на сегодня, как мне кажется, является Offline Explorer.

Итак, что же из себя представляет этот самый Offline Explorer?

Окно программы состоит условно из четырех зон.

Первая зона это меню программы, кнопки управления, а также адресная строка. Эта зона служит, прежде всего, для управления загрузкой файлов и уже существующими проектами. Об этом я расскажу чуть ниже.

Вторая зона это проводник проектов. Тут расположены все созданные проекты загрузки, вне зависимости загружены они или стоят в очереди на загрузку. Эта зона имеет три закладки. На первой отображаются непосредственно сами проекты, на второй отображается структура закачанного сайта, а на последней мы видим файлы, ожидающие загрузки.

Третья зона – это статус загрузки. Показывает загружаемые в данный момент файлы, их размер и процент закачки для каждого из них.

Ну и последняя, четвертая зона, это непосредственно само окно просмотра сайта в оффлайне. Оно ничем не отличается от окна браузера Internet Explorer и сделана полностью на его основе. Так что проблем при работе с ней возникнуть не должно.

Ну вот, в принципе, краткое описание интерфейса программы закончено. Теперь рассмотрим, что же на самом деле умеет этот «малыш».

Для того чтобы загрузить сайт, нам нужно добавить его как проект и установить все необходимые параметры закачки. Самый простой способ добавления проекта – это вызов специального мастера добавления закачек (Файл -> Проект -> Мастер).

В открывшемся окне вводим адрес сайта или странички для закачки и название будущего проекта. Проект иcпoльзуeт URL сайта кaк нaчaльный aдpec. Koгдa этa cтpaницa зaгpужeнa, Offline Explorer oпpeдeляeт вce ccылки нa нeй и зaгpужaeт иx coглacнo уcтaнoвкaм пpoeктa. Кстати раз уж я коснулся алгоритма закачек, то вкратце опишу его, чтобы вы представляли, как действует эта программа и ей подобные. Действует алгоритм закачки довольно просто. Программа загружает страничку первого уровня, которую мы указываем при добавлении задания, затем анализирует HTML код этой странички и загружает те странички и файлы, на которые ссылается эта, потом анализирует следующие загруженные странички второго уровня и загружает те, на которые ссылаются уже эти. Таким образом, происходит так называемый метод пирамиды. Однако чтобы этот процесс не продолжался бесконечно, пока не закачается на ваш компьютер весь Интернет, то для этого задаются параметры глубины закачки, достигнув которой, программа заканчивает работу. Вот, в принципе, и весь алгоритм. Теперь вернемся к нашему мастеру. Жмем кнопочку «Далее» и выбираем огpаничeниe загpyзки cтpаниц пo глyбинe ypoвня.

Уpoвeнь пoзвoляeт быcтpo уcтaнoвить кaк мнoгo cтpaниц нaдo зaкaчивaть. B двуx cлoвax, этo кoличecтвo ccылoк c пepвoй cтpaницы дo caмoй глубoкoй, кoтopыe нaдo зaкaчaть, о чем я написал выше. Чтoбы зaгpузить тoлькo пepвую cтpaницу co вceми ee кapтинкaми, уcтaнoвитe Уpoвeнь=0. Уpoвeнь=1 зaгpужaeт пepвую cтpaницу и вce cтpaницы, кoтopыe нeпocpeдcтвeннo c нeй cвязaны и т.д. Опять жмем «Далее» и выбираем типы файлов, которые нам нужно закачать.

В большинстве случаев оставляем только графику. Ну это, конечно, если только у вас не выделенная линия и вы не качаете архив сайта freeware.ru ? Жмем «Далее» и у нас открывается окно с выбором, откуда загружать необходимые нам файлы.

Если мы выбираем «загружать только с начального адреса», то загрузка пойдет только с того адреса и его папок, который мы указали при загрузке. При выборе пункта «загружать только с начального сервера» это значит, фалы будут загружаться с данного домена и его поддоменов. Например, выбрав, в качестве адреса http://www.narod.ru, будут загружаться и все домашние странички типа http://sergey.narod.ru или http://manka.narod.ru и т.д. Ну и при выборе последнего пункта, «Зaгpужaть c любoгo мecтa», странички будут загружаться абсолютно из любого места Интернета не зависимо от URL адреса. Также в этом окошке мы можем убрать пункт «Зaгpужaть кapтинки c любoгo мecтa» так как, в большинстве случаем, это обыкновенные счетчики и кнопки рейтингов, которые не несут никакой информативности для нас. Ну и последней, и довольно полезной для нас, является опция «Пoпытaтьcя иccлeдoвaть вce вoзмoжныe пoдкaтaлoги». Вкратце вот что она делает: кoгдa Offline Explorer нaxoдит ccылку нa http://www.srv.com/dir1/dir2/somefile.htm, oн тaкжe пoпытaeтcя зaпpocить coдepжимoe кaтaлoгoв /dir1/ и /dir2/. Ecли cepвep пoддepживaeт пpocмoтp кaтaлoгoв, Offline Explorer cмoжeт зaгpузить бoльшe фaйлoв. Последний раз жмем кнопку «Далее» и нас спрашивают, когда мы хотим приступить к загрузке новенького проекта и нужно ли нам делать более детальные настройки. В большинстве случаев дополнительных настроек нам делать нет необходимости, однако если сайт содержит форум, чат или обширную гостевую книгу, то тут придется поставить фильтры на скачку. Например, сделать чтобы не качались файлы из директории /cgi-bin/ и /forum/, а также пропускалась закачка файлов с именем guestbook.php и chat.cgi. Таким образом, вам не будет скачиваться «мусор» сайта, а только необходимая информация. Кстати для добавления проекта к закачке можно создавать специальные шаблоны, что упростит в дальнейшем новые перекачки сайтов. Вот в принципе и всё. Настройка загрузки закончена и можно приступить непосредственно к копированию проекта.

Для загрузки проекта нажимаем F5 и в зоне 3 вы увидите, как начали закачиваться файлы к вам на компьютер. Нужно отметить, что программа поддерживает многопоточность и сразу закачивает несколько файлов, а не по одиночке, что ускоряет процесс в несколько раз. Кстати количество потоков устанавливается в настройках программы. Однако не стоит ставить на Dial-Up их больше 10. Это связано с тем, что многие сайты, такие как narod.ru при подключении нескольких потоков с одного ip адреса, расценивают это как DDoS атаку на сервер и блокируют ваш ip адрес. Так что 10 подключений вполне достаточно.

Как не трудно догадаться, программа такого класса должна обладать встроенным планировщиком закачек. Это действительно так. Offline Explorer имеет довольно мощный планировщик закачек, для каждого проекта по отдельности. В настройках проекта вы выбираете время либо временной интервал для закачки проекта вплоть до одного года. Таким образом, имея ночной доступ в Интернет, вы самостоятельно идете на дискотеку, ну или, в крайнем случае, поспать, а программа, используя встроенный дозвонщик до провайдера, сама войдет в сеть, скачает то, что вам нужно и отключится от сети после закачки, если вы этого захотите.

Offline Explorer довольно неплохо может работать и как фоновая программа закачки. А именно она имеет 4 варианта ограничения по скорости. Если стоит максимальная скорость, то канал забивается ей практически полностью и работать с другими Интернет-приложениями становится довольно трудоемко. При установке фоновой скорости, работа программы практически незаметна. Ограничения по скорости также устанавливаются в настройках программы, а скорость устанавливается соответствующей кнопкой на панели задач.

Нужно отметить, что уже закачанный проект вовсе не нужно закачивать полностью при его обновлении online. Для этого достаточно в настройках самого проекта установить опцию «загружать только измененные файлы» или «не загружать существующие файлы». Это сократит время и всего лишь обновит уже существующий проект, синхронизируя его с реальным сайтом.

Программа поддерживает 3 протокола закачки файлов: HTTP, RSTP и FTP. Для каждого из них можно установить настройки прокси сервера вашего провайдера и работать через него.

Для каждого типа файлов, в Offline Explorer можно установить соответствующий внешний просмоторщик или редактор и вызывать его для модификации или правильного отображения необходимого файла. Хотя сам этой функцией я ещё ни разу не пользовался.
Все проекты хранятся в определенной директории, и название директории проекта соответствует его URL адресу. Для того чтобы все ваши проекты и настройки были в целости и сохранности при переносе на другую систему или при переустановке существующей, в Offline Explorer предусмотрена функция Backup/Restore. Вызвав меню «Дополнительно –> Сохранить/Восстановить» вы выбираете путь для сохранения ваших проектов и Offline Explorer сохранит всё в один файл, сжав все проекты по алгоритму zip. Теперь переносите этот файл на другой компьютер и делайте восстановление теми же способами.

Теперь рассмотрим ещё одну очень полезную функцию этой программы – Экспорт.

Предположим вы скачали сайт что-то вроде http://book.promo.ru. Этот сайт является ни чем иным как обыкновенной электронной книгой. Хранить его в проектах неразумно, так как обновлять книгу как правило не приходится и лучше всего записать ее на диск и открывать отдельно от Offline Explorer. Вот тут и поможет нам функция экспорта. Нажимаем Ctrl+E и перед нами предстает окно экспорта проекта.

Экспортировать мы можем различными вариантами. Можем всё запихнуть в архив Zip или MHT (это специальный архив, не использующий компрессию, где все файлы проекта хранятся в одном файле с расширением MHT, который без проблем просматривается в браузере Internet Explorer), можем всё оставить, как есть, а можем создать кэш для Internet Explorer. Самой интересной штукой мне показалось создание автозапускаемого CD. Вот уж не пойму что хотели тут сделать авторы, но полезности в этой функции я не вижу абсолютно никакой. Настроив параметры экспортирования, нажимаем кнопочку «Экспорт» и проект оказывается у нас в теплом и сухом месте, где он уже ни коим образом не зависит от Offline Explorer. Читаем, где хотим и когда хотим.

Также нужно отметить очень важную вещь. Offline Explorer может использовать для автоматизации различных процессов закачки так называемые макросы. Макросы – это своего рода шаблоны, которые диктуют правила для закачки файлов. Рассмотрим на примере. Допустим вам нужно скачать погоду с сайта http://www.weather.com. Предположим, этот сайт предоставляет прогнозы погоды в графическом формате png, причем, если сегодня 5 число месяца, то адрес файла будет выглядеть как http://www.weather.com/image5.png. Понятно, что для каждого дня месяца в файле добавляется его номер. Как быть, чтобы автоматизировать этот процесс? Используем соответствующий макрос. То есть в адресе закачки, в свойствах проекта пишем, http://www.weather.com/image{:day}.png. Теперь вместо макроса {:day} в адрес будет подставляться номер дня месяца, а вы будете получать погоду на сегодня. Или, скажем, вам нужно скачать какую-нибудь галерею картинок без лишней графики, в виде баннеров, и прочей ерунды. Как правило, все файлы в галереях пронумерованы по возрастанию. Тогда опять все проблемы решают макросы. В строке адреса закачки набираем http://www.somefile.com/{:1..100}.jpg. Всё. Теперь все файлы с названиями 1.jpg, 2.jpg … 100.jpg будут закачаны на ваш компьютер. Если вам нужно закачивать не все файлы, а, скажем, каждый 25 файл, то пишем http://www.somefile.com/{:1..101|25}.jpg. Теперь закачаются только файлы 1.jpg, 26.jpg, 51.jpg, 76.jpg и 101.jpg. То что стоит после знака «|» называется приращением шага. Кроме цифрового перечисления, можно использовать и буквенное. Например, http://www.somefile.com/{:a..z}.jpg. Теперь загрузятся файлы a.jpg, b.jpg…z.jpg. Это я перечислил самые простые примеры. На самом деле макросов в Offline Explorer гораздо больше и они позволяют довольно гибко управлять качеством загрузки. Но разработчики, помимо макросов, для более совершенной гибкости, добавили ещё и командные параметры закачки. Что это такое сейчас поясню. Предположим, вы скачиваете новости с новостного сервера. Как правило, новости на сервере имеют вид: http://www.newssite.com/папка с сегодняшними новостями/номер новости. Причем папка с новостями имеет вид: день+месяц+год. То есть новости за 2 февраля 2003 года, будут выглядеть как http://www.newssite.com/02022003/1.html. Вот вы уже настроили макрос для закачки свежих новостей и ежедневно получаете самые свежие новости из Интернета. Но постепенно на вашем компьютере скачанный сайт разрастается, а старые новости, которые были скачаны месяц назад никому не нужны. Что делать? Вручную удалять их довольно неудобно. Значит, это дело нужно автоматизировать. Для этого в адресе закачки, в свойствах проекта, добавляем строку «Additional=DeleteOldFiles». Что делает эта строка. Она позволяет Offline Explorer синхронизировать файлы на вашем компьютере с файлами на сервере. Если файл с сервера будет удален, то удален он будет и с локальной копии. Как правило, новостные сайты удаляют старые новости или перемещают их в архив, поэтому у вас всегда будут свежие новости и не будет старого ненужного хлама, он просто-напросто будет удаляться при помощи выставленного нами параметра. Ещё одним интересным параметром является команда Additional=AutoExport=... Она позволяет сразу же после копирования сайта, экспортировать его в нужную папку. Например Additional=AutoExport=c:export{:date};101000100. Это значит, что проект будет экспортироваться в папку c:export[сегодняшнее число]. Цифры после запятой указывают параметры экспортирования: 1-включено, 0-выключено. Слева направо: 1 - Иcпoльзoвaть cтaндapтныe pacшиpeния для извecтныx типoв фaйлoв, 0 - 8+3 - coвмecтимocть c MS DOS, 1 - Coxpaнять oнлaйн ccылки, 0 - Apxив ZIP, 0 - Kэш MS Internet Explorer, 0 - Cдeлaть aвтoзaпуcкaeмый CD, 1 - Coздaвaть фaйл coдepжимoгo, 0 - He coздaвaть пoдкaтaлoгoв, 0 - Apxив MHT, то есть это соответствующие параметры экспортирования в окне для экспорта проекта. Offline Explorer имеет ещё ряд дополнительных параметров, но, на мой взгляд, они не настолько важны как эти.

Теперь маленькое сообщение программистам. Программа Offline Explorer поддерживает технологию OLE, поэтому теперь без особых трудностей вы сможете в своих программах управлять закачкой непосредственно из них самих, используя специализированные функции доступа к ним. Кстати вместе с программой устанавливаются 3 копии маленьких программ, написанных на Delphi, C++ и Basic, где, в исходниках, вы можете посмотреть, как работает OLE с Offline Explorer.

На последок описания нужно отметить, что программа имеет многоязыковую поддержку и для установки русского языка выбираем, после установки, View->Languages->Russian.

Итак. Как мне кажется, эта программа довольно достойный продукт на вашем винчестере. В моем архиве уже находится огромное количество архивов сайтов, которые я обновляю периодически и постоянно перечитываю. Оплата за Интернет уменьшилась более чем в три раза и теперь очевидно, что не я работаю на Интернет, а он на меня, снабжая нужной и полезной информацией в кратчайшие сроки.