РУССКИЙ PRIVOXY

WWWOffle - это прокси-сервер, предназначенный для обеспечения полноценного доступа к ранее загруженным страницам Интернет без необходимости передачи каких бы то ни было данных из сети, т.е. воссоздающий для Вас ранее просмотренный контент со всеми его взаимосвязями, для того, чтобы Вы могли его просматривать даже при отсутствии активного подключения к провайдеру. Реализуется это таким образом: допустим, Вы зашли на сайт somesite.com, походили по ссылкам, после чего отключились от провайдера. А теперь самое интересное: в своем любимом браузере Вы (в оффлайне!) набираете адрес somesite.com... - и загружается главная страница этого ресурса! Можно также осуществлять переходы по ссылкам (естественно, только по тем из них, которые Вы ранее использовали для навигации в режиме "онлайн"). Если Вы, прочитав это, думаете: "А зачем, собственно, мне это нужно?" - дальше не читайте - вам это, к счастью, действительно ни к чему , поскольку WWWOffle был создан для того, чтобы принести ощутимую пользу обделённым благами цивилизации людям, использующим коммутируемое соединение, к которым отношусь и я, а также в определённой степени - "физическим и юридическим лицам", отчисляющим новоявленным монополистам непомерные суммы за трафик передаваемый по линиям с высокой пропускной способностью (когда деньги целым мощным лавинообразным потоком утекают от Вас в чьи-то хищные лапы).

В этой заметке я хочу кратко рассказать об основных возможностях WWWOffle и его настройке. Настройки по умолчанию для рассматриваемого нами кеширующего прокси очень разумны, можно сказать, что он работает "из коробки", если конечно кому-нибудь может взбрести в голову распространять WWWOffle в коробках. При чём любые настройки можно превносить как путём прямого редактирования конфигурационного файла, так и посредством удобного и практичного (без каких-либо дизайнерских ухищрений, но обладающего высочайшей функциональностью) веб-интерфейса.

Итак, пусть это прозвучит довольно банально, но первым делом программу надо-таки установить Скачать дистрибутив можно с официального сайта: http://gedanken.demon.co.uk/. Размер тарболла с исходниками составляет вполне приемлемые даже для выкачивания по модему 990Кб (версия 2.8) . Сборка стандартная: configure, make, make install (а лучше checkinstall ). Проблем со сборкой возникнуть не должно. Нужно только включить опцию --with-zlib скрипта configure, благодаря чему WWWOffle сможет работать со сжатыми страницами "на лету" (естественно, у вас должна быть установлена библиотека zlib). Возможно, в вашем дистрибутиве уже есть готовый пакет WWWOffle, хотя, если даже его у Вас, к сожалению, не оказалось, Вы легко можете восполнить сей досадный пробел, самостоятельно собрав собственный бинарный пакет, благо, что в составе архива с исходными кодами WWWOffle уже имеются готовые spec-файлы на все случаи жизни. Кстати, после распаковки исходников советую на всякий случай сразу заглянуть в contrib/README, дабы заранее морально подготовиться к тому, что после установки WWWOffle Ваше представление о сетевых средствах Unix-like операционных систем, как о крайне недружелюбных к пользователю, вынуждающих Вас каждый раз настраивать их буквально "с нуля", может измениться поистине кардинальным образом, поскольку ничего более дружелюбного, удобного, функционального, понятного и доступного Вы наверняка ещё не встречали!

Как уже отмечалось, WWWOffle прекрасно работает "из коробки". В большинстве случаев правки конфига (обычно это /etc/wwwoffle/wwwoffle.conf) вообще не потребуется. Вам нужно только запустить демон wwwoffled (любым способом, какой вам больше нравится; кстати, в официальный тарболл входит скрипт для автоматического запуска в системах с инициализацией в стиле SysV, да к тому же ещё предлагаются варианты этого скрипта для SuSE и RedHat Linux) и прописать в настройках любимого(ых) браузера(ов) соответствующий прокси: адрес localhost или 127.0.0.1 и порт 8080 (эти настройки можно изменить в конфигурацинном файле WWWOffle). Желательно (но не обязательно) сбросить и отключить кэш браузера. WWWOffle может работать в трёх основных режимах: online, offline и fetch. В режиме online с точки зрения пользователя все функционирует как обычно и прокси "собирает" всё в кэш; в режиме offline WWWOffle забирает данные только из кэша; о режиме fetch - позднее. Узнать, в каком режиме сейчас работает WWWOffle можно с помощью команды wwwoffle - , переключить в режим online - командой wwwoffle -on , в offline - соответственно, wwwoffle -off . Вообще, команда wwwoffle предназначена для управления демоном wwwoffled и имеет множество ключей, о которых можно узнать в man. Полезна также команда wwwoffle -config , которая заставляет демона wwwoffled перечитать конфигурационный файл и соответствующим образом учесть произведённые в нём изменения. Также нужно отметить, что все приведённые выше команды не требуют прав root.

Естественно, логично будет переключать WWWOffle в режим online при подключении к Интернет и в режим offline - при отключении. Этого можно добиться различными способами: я, например, добавил команду wwwoffle -on в скрипт /etc/ppp/ip-up.local (вызывается при установлении демоном pppd соединения), а в /etc/ppp/ip-down.local - команду wwwoffle -off (соответственно, отключение от сети). Можно выполнять переключение текущего состояния WWWOffle автоматически после установления соединения с провайдером и после разрыва связи с ним, что обычно делается в настройках программы дозвона, если там это предусмотрено (в KPPP, например, об этом позаботились).

Небольшое замечание: по умолчанию WWWOffle не кэширует контент, полученный через защищенные соединения (HTTPS), что, в общем-то, логично. Если Вы хотите, чтоб в кэш попадало все, в конфиге раскомментируйте такую строчку в секции Options:

# если вам попадаются сайты, работающие по HTTPS на нестандартном порту,
# добавьте сюда аналогичные строки для этих портов
ssl-allow-port = 443

Структура конфигурационного файла проста и понятна, он снабжен подробнейшими комментариями и примерами. Как обычно, все строки, начинающиеся с символа "#" - комментарии. Конфиг разделен на секции, вот пример секции:

IndexOptions
{
create-history-indexes = yes
cycle-indexes-daily = no
# Do index files from /good/ in the barfoo.com domain.
<*://*.barfoo.com/*> list-any = yes
}

Сначала идет название секции, затем, между фигурными скобками - ее содержимое. Параметры могут быть глобальными, т.е. применяться ко всему контенту (в примере это первые 2 строчки) и конкретные для заданного шаблона, в примере это последняя строчка, означает она, что директива "list-any = yes" применяется только к серверам домена barfoo.com.
Секция может выглядеть и так:

DontGet
[
wwwoffle-dontget.conf
]

Означает это, что содержимое данной секции надо брать из указанного файла.

Вот, собственно, и вся минимальная настройка! Остальное - дополнительные возможности, которые вам могут и не понадобиться. А теперь о том, как ещё можно использовать WWWOffle.

Во-первых, у WWWOffle есть довольно удобный (кстати, и русифицированный) web-интерфейс, доступный по адресу: http://localhost:8080 (это если Вы не меняли порт по умолчанию). Отсюда можно практически полностью управлять всеми функциями программы. Для удобства, можно сделать закладки в своем браузере для главной страницы и для часто используемых страниц настройки, например, http://localhost:8008/control/ - страница управления состояниями программы.

Во-вторых, возможно, вам пригодится режим fetch. Работает он так: если Вы в "оффлайн" щелкните по ссылке, которой нет в кэше, WWWOffle поставит ее в очередь закачки. А когда Вы будете в "онлайн", командой wwwoffle -fetch можно заставить прокси-сервер скачать все, что стоит в очереди закачки. Можно добавить эту команду в тот же скрипт /etc/ppp/ifup.local и работать с Интернет в виде коротких вылазок: в офлайне "собираем" интересующие ссылки в очередь, подключаемся к Сети, WWWOffle скачивает все (в несколько потоков и на максимальной скорости), отключаемся, пользуемся! Обратите внимание: по умолчанию в режиме fetch скачиваются только HTML-страницы, если Вы хотите, чтоб скачивались таблицы стилей (CSS), изображения и т.д. - подправьте секцию FetchOptions в конфигурационном файле.

WWWOffle позволяет гибко управлять кэшем:

• - его размещение задает параметр spool-dir в секции StartUp (по умолчанию - /var/cache/wwwoffle);
• - размер кэша задается параметрами из секции Purge: max-size - максимальный размер в Мб (по умолчанию - не ограничено), min-free - минимальный размер в Мб свободного места на разделе, где находится кэш (по умолчанию - не задано), age - "срок хранения" файлов в кэше в днях (по умолчанию - 14), можно использовать суффиксы w (недель), m (месяцев) и y (лет), например: age = 4w;
• - кэш можно в любой момент очистить командой wwwoffle -purge или через веб-интерфейс на странице http://localhost:8008/control/.

WWWOffle можно использовать для блокировки рекламы, настраивается это в секции DontGet, в простейшем случае достаточно перечислить шаблоны "плохих" сайтов и доменов в этой секции примерно вот так:

*://*.247media.*/*
*://*.aaddzz.*/*
*://*.ad-x.*/*

По умолчанию картинки заменяются прозрачным изображением (файл replacement.gif), которое находится в каталоге веб-интерфейса программы (что-то типа /var/cache/wwwoffle/html/en/local/dontget/replacement.gif). Естественно, Вы можете задать свою картинку. При блокировании целой страницы/фрейма, выводится соответствующая веб-страница WWWOffle.

В целом WWWOffle в качестве блокировщика рекламы несколько уступает Privoxy, и если последний вам нравится больше, отказываться от WWWOffle не нужно - он прекрасно работает в связке с Privoxy. Настраивается это в секции Proxy конфигурационного файла примерно вот так:

Proxy
{
<http://*> proxy = localhost:8118
<https://*> ssl = localhost:8118
}

Здесь предполагается, что Privoxy работает на локальном компьютере и слушает порт 8118, используемый им по умолчанию (т.е. в том случае, Вы сами не меняли значение параметра listen-address в конфигурационном файле Privoxy). Без второй строчки невозможно будет получить доступ к сайтам, работающим по протоколу HTTPS.

Для первого знакомства с программой, думаю, хватит Вообще же, возможностей у WWWOffle гораздо больше, упомяну только некоторые из них:

• фильтры HTML-кода страниц (вырезание всяких ползущих-мигающих текстов и прочей гадости);
• работа с файлами cookie; - изменение HTTP-заголовков, посылаемых браузером веб-серверу (User-Agent и Referrer);
• работа в качестве прокси-сервера для локальной сети, в т.ч. возможно разграничение доступа пользователей как к настройками и функциям самого WWWOffle, так и доступа пользователей к Интернету вообще; также WWWOffle может работать как прозрачный (transparent) прокси;
• дозвон по требованию (dial-on-demand);
• интеграция с локальными поисковыми системами (поддерживаются MnoGoSearch, Ht:/Dig и Namazu); с использованием поисковиков мы получаем свой собственный "офлайновый" Интернет ; о настройке MnoGoSearch для работы с кэшем WWWOffle можнопрочитать в статье "Настройка симбиоза прокси-сервера WWWOffle и поисковика MnoGoSearch" (авторы, к сожалению, не указаны, но можно предположить, что это Юрий Калиниченко и Александр Белых, см. www.iceb.vinnitsa.com.

Ну а более подробно обо всех возможностях WWWOffle Вы можете прочитать, естественно, в документации (из которой наиболее важными для осмысления являются README, README.conf и FAQ).
А теперь я позволю себе вкратце коснутся описания тех проблем, которые могут возникнуть у Вас (или неизбежно возникнут) при использовании WWWOffle:

• На некоторых сайтах при переходах по ссылкам иногда может случаться так, что Вы будете получать устаревшие версии страниц. Это не баг, это "фича" Тут уж выбирайте - или кэшировать всё и вся, или получать всегда свежие версии страниц. Лично меня в таких случаях совершенно не напрягает нажать F5 (или Ctrl-R). Впрочем, при обращении к правильно настроенным серверам подобных казусов происходить не должно.
• Некоторые сайты не работают или работают некорректно. Лично я с такими не сталкивался, но такое вполне может быть. Если Вы не сможете определить и устранить причину, просто запретите WWWOffle кэшировать этот сайт. Для этого служит секция DontCache в конфигурационном файле.
• Если Вы используете WWWOffle в качестве прокси для локальной сети, то могут быть проблемы с авторизацией на сайтах, требующих оную. Решение аналогично тому, которое рекомендуется в п.2.
• WWWOffle ... плохо кэширует контент! На некоторых сайтах, например, при переходе назад по истории посещенных страниц они загружаются заново! На самом деле кэширует он все просто отлично, но такая проблема действительно имеет место быть. Объясняется все просто: в режиме "online" WWWOffle хотя и загребает все в свой кэш, но при этом по возможности соблюдает стандарты, так что, если сайт запрещает кэширование, то WWWOffle загружает страницу снова. Особенно это заметно по сравнению с тем, как работает с кэшем Opera (помните первичную настройку WWWOffle, для которой в т.ч. рекомендуется отключить кэш браузера?). Ничего особо страшного в этом нет - всё это происходит только в онлайне, отключившись от сети Вы сможете просматривать вожделенный сайт, но все же, неприятно ... Если вам такое поведение категорически не нравится, попробуйте поэкспериментировать с настройками в секции OnlineOptions или включить кэш браузера.
• По целому ряду причин WWWOffle вырезает поле Content-length из HTTP-заголовков, посылаемых серверами, в результате чего нельзя определить размеры скачиваемых файлов. О причинах, по которым это сделано, можно прочитать в FAQ'е по WWWOffle. В общем-то, это довольно неприятно, поэтому желательно держать еще какую-нибудь качалку (менеджер закачек), работающую не через прокси, для скачивания больших файлов.

Впрочем, мой собственный опыт работы с WWWOffle - сугубо положительный, так что рекомендую всем братьям-модемщикам Пользуюсь я им в связке с Privoxy (хотя и без него все отлично работает), опробованные браузеры: Opera (основной), Konqueror (дополнительный), Firefox (резервный), Dillo (развлекательно-поучительный), elinks (экстремально-реанимационный). Проблем не наблюдалось.

Ну, вот, пожалуй, и все... Надеюсь, что эта моя писанина вас заинтересовала. Попробуйте WWWOffle - не пожалеете, если останетесь живы! Шутка. На самом деле, с WWWOffle Вы проживете дольше, сохранив нервы до того счастливого момента, когда к вашему дому подведут оптоволокно на 10 Гбит/с (или хотя бы точка доступа WLan где-нибудь поблизости от Вас организуется)

---