[Sysadmins] Кеширование содержимого интернет-ресурсов

[Sysadmins] Кеширование содержимого интернет-ресурсов

[Garafiev Aidar]

Приветствую, Уважаемые коллеги!!!

Какой инструмент для кеширования содержимого интернет-ресурсов 
посоветуете? И сколько % трафика можно сэкономить?

Хотелось бы хоть немного сэкономить на трафике и хоть как то ускорить 
открытие интернет-страниц без увеличения скорости канала.

Заранее благодарен за содействие

Re: [Sysadmins] Кеширование содержимого интернет-ресурсов

[Anatol B. Bazyukin]

19 декабря 2008 г. 14:32 пользователь Garafiev Aidar <garafiev@> написал:
>
> Какой инструмент для кеширования содержимого интернет-ресурсов посоветуете?
> И сколько % трафика можно сэкономить?
>
squid
Но эффективность может быть маленькая, в моем случае 15% :(

-- 
С уважением,
 Anatol

Re: [Sysadmins] Кеширование содержимого интернет-ресурсов

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 382 bytes --]

Garafiev Aidar пишет:
> Приветствую, Уважаемые коллеги!!!
>
> Какой инструмент для кеширования содержимого интернет-ресурсов
> посоветуете? И сколько % трафика можно сэкономить?
squid обычно рекомендуют

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] Кеширование содержимого интернет-ресурсов

[Garafiev Aidar]

Второй вопрос:

В какой конфигурации он должен функционировать, если интернет нам 
предоставляет головной офис, а до него у нас VPN канал?

Re: [Sysadmins] Кеширование содержимого интернет-ресурсов

["А. Куликовский"]

Garafiev Aidar пишет:
> Приветствую, Уважаемые коллеги!!!
>
> Какой инструмент для кеширования содержимого интернет-ресурсов 
> посоветуете? И сколько % трафика можно сэкономить?
squid
>
> Хотелось бы хоть немного сэкономить на трафике и хоть как то ускорить 
> открытие интернет-страниц без увеличения скорости канала.
Выигрыш "не очень, чтобы уж очень"...
Вот кусок из отчета кальмара (calamaris)

Proxy statistics                                                                
--------------------------------------------------------- -------------- ------ 
Total amount:                                                   requests 349296 
Total amount cached:                                            requests 177490 
Request hit rate:                                                      %  50.81 <--
Total Bandwidth:                                                    Byte  1340M 
Bandwidth savings:                                                  Byte   223M 
Bandwidth savings in Percent (Byte hit rate):                          %  16.67 <--
Proxy efficiency (HIT [kB/sec] / DIRECT [kB/sec]):                factor   3.64 
Average speed increase:                                                %  13.75 
--------------------------------------------------------- -------------- ------ 

# Incoming requests by method
method                          request      %  sec/req   Byte       %  kB/sec  
------------------------------ --------- ------ ------- -------- ------ ------- 
GET                               338917  97.03    4.04 1353366K  98.63    0.99 
POST                                8680   2.48    2.99 14545205   1.04    0.55 
CONNECT                              892   0.26  313.17  4396615   0.31    0.02 
HEAD                                 800   0.23    0.95   289490   0.02    0.37 
OPTIONS                                3   0.00    1.57     3269   0.00    0.68 
NONE                                   2   0.00    0.22     3296   0.00    7.30 
PROPFIND                               2   0.00    1.14    11388   0.00    4.86 
------------------------------ --------- ------ ------- -------- ------ ------- 
Sum                               349296 100.00    4.80 1372164K 100.00    0.82 

# Incoming UDP-requests by status
no matching requests           

# Incoming TCP-requests by status
status                          request      %  sec/req   Byte       %  kB/sec  
------------------------------ --------- ------ ------- -------- ------ ------- 
HIT                               177490  50.81    0.49  228744K  16.67    2.62 
MISS                              158212  45.29    9.59 1126668K  82.11    0.74 
ERROR                              13594   3.89    5.23 17153564   1.22    0.24 
------------------------------ --------- ------ ------- -------- ------ ------- 
Sum                               349296 100.00    4.80 1372164K 100.00    0.82 


Т.е.  по трафику - 16.57% экономии, бывает и меньше,  по запросам - 50%

Кроме того, режется реклама и "кое что еще, кое что иное..."

-- 
С уважением, А.Куликовский
Гимназия №1, г.Дзержинск, РБ

Re: [Sysadmins] Кеширование содержимого интернет-ресурсов

[Konstantin A. Lepikhov]

Hi Garafiev!

Friday 19, at 02:32:07 PM you wrote:

> Приветствую, Уважаемые коллеги!!!
> 
> Какой инструмент для кеширования содержимого интернет-ресурсов 
> посоветуете? И сколько % трафика можно сэкономить?
> 
> Хотелось бы хоть немного сэкономить на трафике и хоть как то ускорить 
> открытие интернет-страниц без увеличения скорости канала.
> 
> Заранее благодарен за содействие
лучше тогда oops. Он умеет прикидываться нормальным HTTP/1.1, который
понимает Accept-Encoding: gzip, и разжимать ответ. Более того, умеет
докачивать файлы, которые посмотрели не до конца, т.е. в след. раз не
нужно будет их повторно качать. А %% сильно зависит от типа трафика.

-- 
WBR et al.

Re: [Sysadmins] Кеширование содержимого интернет-ресурсов

[Yuri Bushmelev]

В сообщении от Пятница 19 декабря 2008 Konstantin A. Lepikhov написал(a):
> Hi Garafiev!
>
> Friday 19, at 02:32:07 PM you wrote:
> > Приветствую, Уважаемые коллеги!!!
> >
> > Какой инструмент для кеширования содержимого интернет-ресурсов
> > посоветуете? И сколько % трафика можно сэкономить?
> >
> > Хотелось бы хоть немного сэкономить на трафике и хоть как то ускорить
> > открытие интернет-страниц без увеличения скорости канала.
> >
> > Заранее благодарен за содействие
>
> лучше тогда oops. Он умеет прикидываться нормальным HTTP/1.1, который
> понимает Accept-Encoding: gzip, и разжимать ответ. Более того, умеет
> докачивать файлы, которые посмотрели не до конца, т.е. в след. раз не
> нужно будет их повторно качать. А %% сильно зависит от типа трафика.

А еще он умер, периодически (где-то раз в месяц) самопроизвольно падал, не 
умел пропускать через себя svn, и имел какие-то проблемы под Linux (от 
не-компиляемости с новыми glibc, до каких-то подземных стуков).
Так что, если будет oops, то надо подставить под него автоподнималку и дать 
возможность ходить в обход прокси.
Я у себя уже переехал на squid везде, хотя раньше у меня везде был oops.

-- 
С уважением,
Бушмелев Юрий

[Sysadmins] Web-server in LAN

[Garafiev Aidar]

Доброго времени суток, уважаемые коллеги!!!

В локалке есть ДНС сервер BIND и веб-сервер Apache. Что нужно сделать 
для того, чтобы веб-сервер был доступен компам в локальной сети по ДНС 
запросу, а не по IP адресу.

Заранее благодарен!!!

Re: [Sysadmins] Web-server in LAN

[Mykola S. Grechukh]

2008/12/22 Garafiev Aidar <>:
> Доброго времени суток, уважаемые коллеги!!!
>
> В локалке есть ДНС сервер BIND и веб-сервер Apache. Что нужно сделать для
> того, чтобы веб-сервер был доступен компам в локальной сети по ДНС запросу,
> а не по IP адресу.
>
> Заранее благодарен!!!

очевидно,
- научить все компы ходить на этот bind за днсом (если ещё нет)
- создать на бинде зону (если ещё нет)
- создать A запись в зоне.
......
......
PROFIT!

[Sysadmins] Web-server in LAN

[Garafiev Aidar]

ДНС сервер не имеет внешнего адреса, имеет только один интерфейс, 
который смотрит в LAN.

Зоны в ДНС созданы и функционируют исправно

[root@server slave]# dig in945.nzh.ieml.ru

; <<>> DiG 9.3.5-P1 <<>> in945.nzh.ieml.ru
;; global options:  printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 31744
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1

;; QUESTION SECTION:
;in945.nzh.ieml.ru.             IN      A

;; ANSWER SECTION:
in945.nzh.ieml.ru.      10800   IN      A       192.168.101.103

;; AUTHORITY SECTION:
nzh.ieml.ru.            86400   IN      NS      server.nzh.ieml.ru.

;; ADDITIONAL SECTION:
server.nzh.ieml.ru.     10800   IN      A       192.168.101.190

;; Query time: 2 msec
;; SERVER: 127.0.0.1#53(127.0.0.1)
;; WHEN: Mon Dec 22 17:09:37 2008
;; MSG SIZE  rcvd: 88

Что значит "научить все компы ходить на этот bind за днсом"???

Какую именно запись добавить в файл зоны, чтобы добиться желаемого 
результата?

Заранее благодарен!!!

_______________________________________________
Sysadmins mailing list
Sysadmins@lists.altlinux.org
https://lists.altlinux.org/mailman/listinfo/sysadmins

Re: [Sysadmins] Web-server in LAN

[Mykola S. Grechukh]

2008/12/22 Garafiev Aidar <>:
> ДНС сервер не имеет внешнего адреса, имеет только один интерфейс, который
> смотрит в LAN.
>
> Зоны в ДНС созданы и функционируют исправно
>
> [root@server slave]# dig in945.nzh.ieml.ru
>
> ; <<>> DiG 9.3.5-P1 <<>> in945.nzh.ieml.ru
> ;; global options:  printcmd
> ;; Got answer:
> ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 31744
> ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1
>
> ;; QUESTION SECTION:
> ;in945.nzh.ieml.ru.             IN      A
>
> ;; ANSWER SECTION:
> in945.nzh.ieml.ru.      10800   IN      A       192.168.101.103
>
> ;; AUTHORITY SECTION:
> nzh.ieml.ru.            86400   IN      NS      server.nzh.ieml.ru.
>
> ;; ADDITIONAL SECTION:
> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
>
> ;; Query time: 2 msec
> ;; SERVER: 127.0.0.1#53(127.0.0.1)
> ;; WHEN: Mon Dec 22 17:09:37 2008
> ;; MSG SIZE  rcvd: 88
>
> Что значит "научить все компы ходить на этот bind за днсом"???

например, /etc/resolv.conf:

nameserver 192.168.101.190

> Какую именно запись добавить в файл зоны, чтобы добиться желаемого
> результата?

так вот же она:

server.nzh.ieml.ru.     10800   IN      A       192.168.101.190

Re: [Sysadmins] Web-server in LAN

[Dmitriy M. Maslennikov]

22 декабря 2008 г. 17:13 пользователь Garafiev Aidar
<garafiev@nzh.ieml.ru> написал:
> Зоны в ДНС созданы и функционируют исправно
> Что значит "научить все компы ходить на этот bind за днсом"???
Значит, в случае Linux прописать их в resolv.conf, ну или
соответствующая настройка в винде.

> Какую именно запись добавить в файл зоны, чтобы добиться желаемого
> результата?
В вашем случае никакую.

Лучше получше разобраться в DNS и IP

-- 
Dmitriy M. Maslennikov
rlz@etersoft.ru
rlz@altlinux.org
maslennikovdm@gmail.com
master@armory.ru

Re: [Sysadmins] Web-server in LAN

[Garafiev Aidar]

Mykola S. Grechukh пишет:
> 2008/12/22 Garafiev Aidar <>:
>   
>> ДНС сервер не имеет внешнего адреса, имеет только один интерфейс, который
>> смотрит в LAN.
>>
>> Зоны в ДНС созданы и функционируют исправно
>>
>> [root@server slave]# dig in945.nzh.ieml.ru
>>
>> ; <<>> DiG 9.3.5-P1 <<>> in945.nzh.ieml.ru
>> ;; global options:  printcmd
>> ;; Got answer:
>> ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 31744
>> ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1
>>
>> ;; QUESTION SECTION:
>> ;in945.nzh.ieml.ru.             IN      A
>>
>> ;; ANSWER SECTION:
>> in945.nzh.ieml.ru.      10800   IN      A       192.168.101.103
>>
>> ;; AUTHORITY SECTION:
>> nzh.ieml.ru.            86400   IN      NS      server.nzh.ieml.ru.
>>
>> ;; ADDITIONAL SECTION:
>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
>>
>> ;; Query time: 2 msec
>> ;; SERVER: 127.0.0.1#53(127.0.0.1)
>> ;; WHEN: Mon Dec 22 17:09:37 2008
>> ;; MSG SIZE  rcvd: 88
>>
>> Что значит "научить все компы ходить на этот bind за днсом"???
>>     
>
> например, /etc/resolv.conf:
>
> nameserver 192.168.101.190
>
>   
>> Какую именно запись добавить в файл зоны, чтобы добиться желаемого
>> результата?
>>     
>
> так вот же она:
>
> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
>   
Такая запись на ДНС сервере есть. Что нужно помимо этого?

Re: [Sysadmins] Web-server in LAN

[Anatol B. Bazyukin]

22 декабря 2008 г. 17:22 пользователь Garafiev Aidar <garafiev@> написал:

> Такая запись на ДНС сервере есть. Что нужно помимо этого?

http://freesource.info/wiki/AltLinux/Dokumentacija/DhcpBind


-- 
С уважением,
 Anatol

Re: [Sysadmins] Web-server in LAN

[Mykola S. Grechukh]

2008/12/22 Garafiev Aidar <>:
> Mykola S. Grechukh пишет:
>> 2008/12/22 Garafiev Aidar <>:
>>
>>>
>>> ДНС сервер не имеет внешнего адреса, имеет только один интерфейс, который
>>> смотрит в LAN.
>>>
>>> Зоны в ДНС созданы и функционируют исправно
>>>
>>> [root@server slave]# dig in945.nzh.ieml.ru
>>>
>>> ; <<>> DiG 9.3.5-P1 <<>> in945.nzh.ieml.ru
>>> ;; global options:  printcmd
>>> ;; Got answer:
>>> ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 31744
>>> ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1
>>>
>>> ;; QUESTION SECTION:
>>> ;in945.nzh.ieml.ru.             IN      A
>>>
>>> ;; ANSWER SECTION:
>>> in945.nzh.ieml.ru.      10800   IN      A       192.168.101.103
>>>
>>> ;; AUTHORITY SECTION:
>>> nzh.ieml.ru.            86400   IN      NS      server.nzh.ieml.ru.
>>>
>>> ;; ADDITIONAL SECTION:
>>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
>>>
>>> ;; Query time: 2 msec
>>> ;; SERVER: 127.0.0.1#53(127.0.0.1)
>>> ;; WHEN: Mon Dec 22 17:09:37 2008
>>> ;; MSG SIZE  rcvd: 88
>>>
>>> Что значит "научить все компы ходить на этот bind за днсом"???
>>>
>>
>> например, /etc/resolv.conf:
>>
>> nameserver 192.168.101.190
>>
>>
>>>
>>> Какую именно запись добавить в файл зоны, чтобы добиться желаемого
>>> результата?
>>>
>>
>> так вот же она:
>>
>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
> Такая запись на ДНС сервере есть. Что нужно помимо этого?

очевидно, нужно любым способом сделать так, чтобы машины в локалки
знали о существовании этого dns сервера.

Re: [Sysadmins] Web-server in LAN

[Mykola S. Grechukh]

2008/12/22 Garafiev Aidar <>:
> Mykola S. Grechukh пишет:
>> 2008/12/22 Garafiev Aidar <>:
>>
>>>
>>> ДНС сервер не имеет внешнего адреса, имеет только один интерфейс, который
>>> смотрит в LAN.
>>>
>>> Зоны в ДНС созданы и функционируют исправно
>>>
>>> [root@server slave]# dig in945.nzh.ieml.ru
>>>
>>> ; <<>> DiG 9.3.5-P1 <<>> in945.nzh.ieml.ru
>>> ;; global options:  printcmd
>>> ;; Got answer:
>>> ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 31744
>>> ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1
>>>
>>> ;; QUESTION SECTION:
>>> ;in945.nzh.ieml.ru.             IN      A
>>>
>>> ;; ANSWER SECTION:
>>> in945.nzh.ieml.ru.      10800   IN      A       192.168.101.103
>>>
>>> ;; AUTHORITY SECTION:
>>> nzh.ieml.ru.            86400   IN      NS      server.nzh.ieml.ru.
>>>
>>> ;; ADDITIONAL SECTION:
>>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
>>>
>>> ;; Query time: 2 msec
>>> ;; SERVER: 127.0.0.1#53(127.0.0.1)
>>> ;; WHEN: Mon Dec 22 17:09:37 2008
>>> ;; MSG SIZE  rcvd: 88
>>>
>>> Что значит "научить все компы ходить на этот bind за днсом"???
>>>
>>
>> например, /etc/resolv.conf:
>>
>> nameserver 192.168.101.190
>>
>>
>>>
>>> Какую именно запись добавить в файл зоны, чтобы добиться желаемого
>>> результата?
>>>
>>
>> так вот же она:
>>
>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
> Такая запись на ДНС сервере есть. Что нужно помимо этого?

очевидно, нужно любым способом сделать так, чтобы машины в локалке
знали о существовании этого dns сервера.

Re: [Sysadmins] Web-server in LAN

[Garafiev Aidar]

Mykola S. Grechukh пишет:
> 2008/12/22 Garafiev Aidar <>:
>   
>> Mykola S. Grechukh пишет:
>>     
>>> 2008/12/22 Garafiev Aidar <>:
>>>
>>>       
>>>> ДНС сервер не имеет внешнего адреса, имеет только один интерфейс, который
>>>> смотрит в LAN.
>>>>
>>>> Зоны в ДНС созданы и функционируют исправно
>>>>
>>>> [root@server slave]# dig in945.nzh.ieml.ru
>>>>
>>>> ; <<>> DiG 9.3.5-P1 <<>> in945.nzh.ieml.ru
>>>> ;; global options:  printcmd
>>>> ;; Got answer:
>>>> ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 31744
>>>> ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1
>>>>
>>>> ;; QUESTION SECTION:
>>>> ;in945.nzh.ieml.ru.             IN      A
>>>>
>>>> ;; ANSWER SECTION:
>>>> in945.nzh.ieml.ru.      10800   IN      A       192.168.101.103
>>>>
>>>> ;; AUTHORITY SECTION:
>>>> nzh.ieml.ru.            86400   IN      NS      server.nzh.ieml.ru.
>>>>
>>>> ;; ADDITIONAL SECTION:
>>>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
>>>>
>>>> ;; Query time: 2 msec
>>>> ;; SERVER: 127.0.0.1#53(127.0.0.1)
>>>> ;; WHEN: Mon Dec 22 17:09:37 2008
>>>> ;; MSG SIZE  rcvd: 88
>>>>
>>>> Что значит "научить все компы ходить на этот bind за днсом"???
>>>>
>>>>         
>>> например, /etc/resolv.conf:
>>>
>>> nameserver 192.168.101.190
>>>
>>>
>>>       
>>>> Какую именно запись добавить в файл зоны, чтобы добиться желаемого
>>>> результата?
>>>>
>>>>         
>>> так вот же она:
>>>
>>> server.nzh.ieml.ru.     10800   IN      A       192.168.101.190
>>>       
>> Такая запись на ДНС сервере есть. Что нужно помимо этого?
>>     
>
> очевидно, нужно любым способом сделать так, чтобы машины в локалке
> знали о существовании этого dns сервера.
> _______________________________________________
>
>   
Прошу прощения за невежество!!!
Интернет-браузер был криво настроен.... :))))))))
После поправки все работает на УРА!!!
Большое спасибо в любом случае!!!

[Sysadmins] DSL + IpTables + Squid

[Garafiev Aidar]

Доброго времени суток, уважаемые коллеги!!!

Возникла следующая ситуация:
Доступ к интернет осуществлен через DSL-модем, настроенный роутером. 
Начальство попросило закрыть доступ к порно сайтам а также к некоторым 
другим категориям интернет-контента.
Можно ли и, самое главное, каким именно образом это сделать?
Клоню в сторону Iptables + Squid.
Подскажите, если у кого получалось такое решение на практике.

Заранее благодарен!!!

Re: [Sysadmins] DSL + IpTables + Squid

[Dmitriy Kruglikov]

27 января 2009 г. 16:10 пользователь Garafiev Aidar  написал:

> Клоню в сторону Iptables + Squid.
Пользовал  Squid+Rejik
http://www.rejik.ru
У меня такая связка работала, работает и будет работать,
ибо лень искать что-то другое :)

Если добавить еще и статистику (например lightsquid), которую
рекомендовать просматривать руководителю с целью дополнить технические
меры административными, то будет вообще хорошо...

Рекомендую сразу оговорить процент от штрафов с нарушителей в свой карман...
Я еще не видел руководителя, который не хотел бы снизить расходы :)

-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy L. Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 DKR6-RIPE
 DKR6-UANIC
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [Sysadmins] DSL + IpTables + Squid

[Dmitriy M. Maslennikov]

27 января 2009 г. 17:10 пользователь Garafiev Aidar
<garafiev@nzh.ieml.ru> написал:
> Возникла следующая ситуация:
> Доступ к интернет осуществлен через DSL-модем, настроенный роутером.
> Начальство попросило закрыть доступ к порно сайтам а также к некоторым
> другим категориям интернет-контента.
> Можно ли и, самое главное, каким именно образом это сделать?
> Клоню в сторону Iptables + Squid.
> Подскажите, если у кого получалось такое решение на практике.
>
> Заранее благодарен!!!
Для этого надо сначала найти ВСЕ порно-сайты, а так же быть в курсе
новинок. Процесс сам по себе увлекательный, но не результативный)
Проще закрыть все и разрешить только нужное.

-- 
Dmitriy M. Maslennikov
rlz@etersoft.ru
rlz@altlinux.org
maslennikovdm@gmail.com
master@armory.ru

Re: [Sysadmins] DSL + IpTables + Squid

[MisHel64]

Здравствуйте, Garafiev.

Вы писали 27 января 2009 г., 17:10:11:

Имею  опыт  решения проблемы. Первый был неудачный, решение было чисто
на  продуктах MS. Я нашел все порно сайты в топ листе сайтов, и закрыл
к  ним доступ. Помогло только на три дня. Потом в топе появились новые
сайты  с  пикантным  содержимым.  Я  это  к  тому,  чисто техническими
методами,   без   административных  мер  наказания  посетителя  данную
проблему не решить.

Второй  опыт  более  удачен.  У  каждого пользователя 2 логина в инет.
Первый  рабочий,  и  трафик  по нему оплачивает фирма. Второй частный,
трафик  по  нему оплачивает сотрудник (1руб/метр). Строится топ сайтов
для каждого "халявного" логина. И этот списочек проходит цензуру. Если
человече  будет  пойман  на посещении ненужных для работы страничек по
халявному  логину,  то  весь  свой  "халявный"  трафик  он  оплачивает
(10руб/метр) + штраф 500р (3-5% зарплаты). Самое интересное, что после
введения  этого  новшества  трафик  потребленный  всем  пользователями
сократился  в  5 раз. И это при том, что никто специально на порнуху и
прочие пакости не ходил.

Технически,  блочишь  80 порт на форварде в иптаблесе. А лучше блочить
все  из  локалки  в  инет,  и потом разрешить только нужное типа аски,
почтового клиента, etc. Сквид как прокси с авторизацией. ЛичСквид для
просмотра статистики.

> Возникла следующая ситуация:
> Доступ к интернет осуществлен через DSL-модем, настроенный роутером. 
> Начальство попросило закрыть доступ к порно сайтам а также к некоторым
> другим категориям интернет-контента.

> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins



-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru

Re: [Sysadmins] DSL + IpTables + Squid

[Garafiev Aidar]

MisHel64 пишет:
> Здравствуйте, Garafiev.
>
> Вы писали 27 января 2009 г., 17:10:11:
>
> Имею  опыт  решения проблемы. Первый был неудачный, решение было чисто
> на  продуктах MS. Я нашел все порно сайты в топ листе сайтов, и закрыл
> к  ним доступ. Помогло только на три дня. Потом в топе появились новые
> сайты  с  пикантным  содержимым.  Я  это  к  тому,  чисто техническими
> методами,   без   административных  мер  наказания  посетителя  данную
> проблему не решить.
>
> Второй  опыт  более  удачен.  У  каждого пользователя 2 логина в инет.
> Первый  рабочий,  и  трафик  по нему оплачивает фирма. Второй частный,
> трафик  по  нему оплачивает сотрудник (1руб/метр). Строится топ сайтов
> для каждого "халявного" логина. И этот списочек проходит цензуру. Если
> человече  будет  пойман  на посещении ненужных для работы страничек по
> халявному  логину,  то  весь  свой  "халявный"  трафик  он  оплачивает
> (10руб/метр) + штраф 500р (3-5% зарплаты). Самое интересное, что после
> введения  этого  новшества  трафик  потребленный  всем  пользователями
> сократился  в  5 раз. И это при том, что никто специально на порнуху и
> прочие пакости не ходил.
>
> Технически,  блочишь  80 порт на форварде в иптаблесе. А лучше блочить
> все  из  локалки  в  инет,  и потом разрешить только нужное типа аски,
> почтового клиента, etc. Сквид как прокси с авторизацией. ЛичСквид для
> просмотра статистики.
>
>   
>> Возникла следующая ситуация:
>> Доступ к интернет осуществлен через DSL-модем, настроенный роутером. 
>> Начальство попросило закрыть доступ к порно сайтам а также к некоторым
>> другим категориям интернет-контента.
>>     
>
>   
>> _______________________________________________
>> Sysadmins mailing list
>> Sysadmins@lists.altlinux.org
>> https://lists.altlinux.org/mailman/listinfo/sysadmins
>>     
>
>
>
>   
Блэклист у меня уже есть. Если кому интересно, могу поделиться 
ссылочкой. :))))
Меня интересует немного другое - технические тонкости настройки данной 
системы, поскольку опыта в настройке Iptables и Squid'а практически 
никакого.
Уточню детали:
1. Модем настроен роутером и адрес Ethernet интерфейса "серый" - 
192.168.101.254.
2. На сервере, который является шлюзом и будет резать всякую гадость, 
две сетевые карты (посредством одной он соединяется с модемом: адрес 
интерфейса 192.168.101.253, а посресдством второй: адрес интефейса 
192.168.1.1 - соединяется с локальной сетью, интернет контент для 
которой будет фильтроваться)

Указывал через route маршруты до ДНС провайдера через модем - не 
помогло, работают только ДНС запросы :(((

Заранее благодарен за помощь!!!

Re: [Sysadmins] DSL + IpTables + Squid

[Garafiev Aidar]

Garafiev Aidar пишет:
> Доброго времени суток, уважаемые коллеги!!!
>
> Возникла следующая ситуация:
> Доступ к интернет осуществлен через DSL-модем, настроенный роутером. 
> Начальство попросило закрыть доступ к порно сайтам а также к некоторым 
> другим категориям интернет-контента.
> Можно ли и, самое главное, каким именно образом это сделать?
> Клоню в сторону Iptables + Squid.
> Подскажите, если у кого получалось такое решение на практике.
>
> Заранее благодарен!!!
>
>
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
Мне кажется, что для начала надо настроить модем бриджом а также на 
самом шлюзе настроить ppp соединение. А дальше уже всё остальное :)))))

Re: [Sysadmins] DSL + IpTables + Squid

[Anton Kvashin]

Garafiev Aidar пишет:
> Garafiev Aidar пишет:
>> Возникла следующая ситуация:
>> Доступ к интернет осуществлен через DSL-модем, настроенный роутером. 
>> Начальство попросило закрыть доступ к порно сайтам а также к некоторым 
>> другим категориям интернет-контента.
>> Можно ли и, самое главное, каким именно образом это сделать?
>> Клоню в сторону Iptables + Squid.
>> Подскажите, если у кого получалось такое решение на практике.
>>
> Мне кажется, что для начала надо настроить модем бриджом а также на 
> самом шлюзе настроить ppp соединение. А дальше уже всё остальное :)))))

Не обязательно, схема рабочая в обоих случаях (роутер/бридж).
Посмотрите sams, shorewall.
Помимо http трафика (и другого, который может обрабатывать squid) 
следует обратить внимание (реализовать схему контроля) на почтовый 
трафик (спам/трояны из локалки).

-- 
Anton Kvashin

Re: [Sysadmins] DSL + IpTables + Squid

[Dmitriy Kruglikov]

28 января 2009 г. 7:22 пользователь Garafiev Aidar  написал:

>
> Мне кажется, что для начала надо настроить модем бриджом а также на самом
> шлюзе настроить ppp соединение.

Модем в режиме роутера будет осуществлять первичную фильтрацию пакетов,
что снизит требования к настройке iptables, о которой у вас, вижу,
весьма первоначальные представления :)
Модем, зачастую, сам умеет поднимать PPP и работать в качестве DNS
сервера в вашей сети.
Шлюзовому серверу достаточно просто пересылать ему _все_ запросы...
Вам останется только настроить Squid+какой-нибудь_редиректор для
блокировки порно.

Не плоите сущностей сверх необходимого...

-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy L. Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 DKR6-RIPE
 DKR6-UANIC
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [Sysadmins] DSL + IpTables + Squid

[Alexey Morsov]

[-- Attachment #1: Type: text/plain, Size: 730 bytes --]

On Tue, Jan 27, 2009 at 04:20:17PM +0200, Dmitriy Kruglikov wrote:
> 27 января 2009 г. 16:10 пользователь Garafiev Aidar  написал:
> 
> > Клоню в сторону Iptables + Squid.
> Пользовал  Squid+Rejik
> http://www.rejik.ru
режик есть в альте из коробки, redirector называется.

-- 
WBR,
Alexey Morsov
программист ЗАО "ИК "Риком-Траст"
Jabber: samurai@www.fondmarket.ru
ALT Linux Team Member

<lioka> gvy: оно бы здорово, конечно, да грехи^W evms не пускают :)
<lioka> gvy: порядок следования телеги и кобылы там непроизвольный

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 489 bytes --]

Re: [Sysadmins] DSL + IpTables + Squid

[MisHel64]

Здравствуйте, Garafiev.

Вы писали 28 января 2009 г., 8:03:14:

> Меня интересует немного другое - технические тонкости настройки данной
> системы, поскольку опыта в настройке Iptables и Squid'а практически 
> никакого.

Судя по твоему письму у тебя вообще опыта в администрировании серверов
никакого, что еще хуже нет еще и теоретической базы. И что бы ответить
на твои вопросы придется читать тебе много часовую лекцию.

> 1. Модем настроен роутером и адрес Ethernet интерфейса "серый" -
> 192.168.101.254.
> 2. На сервере, который является шлюзом и будет резать всякую гадость,
> две сетевые карты (посредством одной он соединяется с модемом: адрес 
> интерфейса 192.168.101.253, а посресдством второй: адрес интефейса 
> 192.168.1.1 - соединяется с локальной сетью, интернет контент для 
> которой будет фильтроваться)

Для  начала,  я  бы  тебе  посоветовал не использовать для своих сетей
адреса  из  192.168.0.0/24  и  192.168.1.0/24.  Долгое сидение на ADSL
своего провайдера четко навели меня на эту мысль.

Если  у тебя правильный провайдер, и PPPoE, то адреса DNS модем должен
получать   автоматом.   Нормальный   модем  умеет  их  использовать  и
становится  DNS  сервером.  Имеено модем будет DNS сервером для твоего
сервера.  То  есть,  адреса  DNS  серверов  провайдера прописываются в
модеме автоматом. Если этого не происходит, то только тогда в вручную.

Теперь  ты  должен  поднять  DNS  сервер у себя на сервере. Для начала
простой  кэширующий.  Очень  желательное,  но  не  очень  обязательное
условие. Из-за криворуких админов моего провайдера, лично мне пришлось
настраивать  полноценный DNS сервер, что бы не использовать DNS адреса
провайдера.  Для  поднятия  собственного  полноценного  DNS есть масса
других  причин.  При наличие локальной сети очень желательно поднять у
себя  DHCP сервер. Если в локальной сети используется ОС Windows и нет
сервера на базе Windows, то очень желательно поднять у себя еще и WINS
сервер (Читай про самбу), в DNS прописать прямые и обратные зоны (т.е.
простым  кэширующим сервером DNS уже не отделаешься), и заставить DHCP
сервер  обновлять  эти  зоны  в  DNS.  Это  все  очень желательные, но
необязательные условия.

> Указывал через route маршруты до ДНС провайдера через модем - не
> помогло, работают только ДНС запросы :(((

Что бы что-то трафик из локальной сети с серыми ИП мог уйти за пределы
этой   локальной  сети,  на  сервере  который  является  шлюзом  нужно
настроить NAT. Читаем про iptables до просветления. Если маршрутизация
настроена  правильно,  но ничего добавлять в таблицы роутинга ненужно.
Настраиваем,  пробуем пинговать внешние ресурсы, пингуется, значит все
здорово.

Теперь  нужно  запретить весь трафик из локальной сети наружу. Этим ты
запретишь  и  доступ  к  внешним  WEB  серверам.  Настраиваем, пробуем
пинговать внешние ресурсы, НЕ пингуется, значит все здорово.

Теперь  думаем, что можно пускать наружу. Переписываем все программное
обеспечение  используемое  в  локальной  сети которое не умеет, или не
должно   ходить  через  прокси,  но  должно  ходить  наружу.  К  таким
программам  относятся почтовые клиенты, аска (по желанию), клиенты DNS
(по  настройкам  сервера).  Смотрим  какие  протоколы  и  какие  порты
используют  серверы  этих  программ, и открываем их. За одно открываем
ICMP протокол. Теперь пробуем пинговать внешние ресурсы, и открыть WEB
страничку.  Пинги  опять  идут,  но  странички открываются. Значит все
здорово.

Только теперь переходим к настройкам сквида. Сначала настраиваем его,
потом прикручиваем авторизацию, что бы знать кто и куда ходит. Потом
прикручиваем стоп лист.

Статистика  посещений  пишется  в лог, но читать ее там, это мазохизм.
Прикручиваем анализатор трафика. Тебе уже советовали ЛичСквид. Я лично
его использую, ставится из бранча и работает при минимальной доводке.

Что  бы  увидеть  эту  статистику,  тебе придется поднимать у себя веб
сервер.  Это  уже  отдельная  песня.  И  в  первый раз аппач ты будишь
настраивать очень долго. Но дело полезное.

> Заранее благодарен за помощь!!!

И  прежде  чем  делать  все  это, я очень рекомендую почитать об общих
принципах  организации  сетей, маршрутизации и прочем. Если тебе нужно
все  это  сделать  быстро, то лучше найми кого-нибудь. С твоим уровнем
знаний за пару недель не уложишься.


> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins



-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru

Re: [Sysadmins] DSL + IpTables + Squid

[MisHel64]

Здравствуйте, Garafiev.

Вы писали 28 января 2009 г., 8:22:08:

> Мне кажется, что для начала надо настроить модем бриджом а также на
> самом шлюзе настроить ppp соединение. А дальше уже всё остальное :)))))

Модем  настроить  мостом?  И  это Вы советуете человеку без даже общих
теоретических  знаний?  Пока  модем  настроен маршрутизатором, хоть он
защищает  сервер  от  всяких  сетевых  хулиганов, используя встроенный
файрвол и отбрасывая все не запрошенные соединения. И до тех пор, пока
топик   стартер  не  сможет  настроить  самостоятельно  защиту  своего
сервера,  (а  пока  он  этого не может) такие советы вредны. Да и я не
вижу  смысла  переводить  модем  в  мост. Достаточно проброса портов в
самом модеме и правильной настройки DMZ в нем же.

-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru

Re: [Sysadmins] DSL + IpTables + Squid

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1168 bytes --]

MisHel64 пишет:
> Здравствуйте, Garafiev.
> 
> Вы писали 28 января 2009 г., 8:22:08:
> 
>> Мне кажется, что для начала надо настроить модем бриджом а также на
>> самом шлюзе настроить ppp соединение. А дальше уже всё остальное :)))))
> 
> Модем  настроить  мостом?  И  это Вы советуете человеку без даже общих
> теоретических  знаний?  Пока  модем  настроен маршрутизатором, хоть он
> защищает  сервер  от  всяких  сетевых  хулиганов, используя встроенный
> файрвол и отбрасывая все не запрошенные соединения. И до тех пор, пока
> топик   стартер  не  сможет  настроить  самостоятельно  защиту  своего
> сервера,  (а  пока  он  этого не может) такие советы вредны.

   +1

> Да и я не
> вижу  смысла  переводить  модем  в  мост. Достаточно проброса портов в
> самом модеме и правильной настройки DMZ в нем же.

   Вижу как минимум 2 причины:

1. При большом количестве соединений (и/или развесистых правилах 
файрвола) модем не справляется (железо там часто слабое).

2. Сервер должен быть доступен из вне по протоколам недружественным к 
NAT, на пример по ftp (настроить-то можно, но весьма гиморно)...

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 552 bytes --]

Re: [Sysadmins] DSL + IpTables + Squid

[MisHel64]

Здравствуйте, Aleksey.

Вы писали 28 января 2009 г., 17:01:24:

>> Да  и я не вижу смысла переводить модем в мост. Достаточно проброса
>> портов в самом модеме и правильной настройки DMZ в нем же.

>    Вижу как минимум 2 причины:

> 1.  При  большом  количестве  соединений (и/или развесистых правилах
> файрвола) модем не справляется (железо там часто слабое).

Честно  говоря  не  замечал,  и  потом  сильно сомневаюсь, что у топик
стартера  будет  "большое  количество  соединений". А с тысячей, любая
железка справится.

> 2. Сервер должен быть доступен из вне по протоколам недружественным к 
> NAT, на пример по ftp (настроить-то можно, но весьма гиморно)...

Опять же, для топик стартера не критично. Вряд ли он в ближайшее время
будет поднимать ftp с доступом из внешки.

А вот проблема безопасности на текущий момент для него более критична,
чем перечисленные тобой.

-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru

Re: [Sysadmins] DSL + IpTables + Squid

[Garafiev Aidar]

MisHel64 пишет:
> Здравствуйте, Garafiev.
>
> Вы писали 28 января 2009 г., 8:03:14:
>
>   
>> Меня интересует немного другое - технические тонкости настройки данной
>> системы, поскольку опыта в настройке Iptables и Squid'а практически 
>> никакого.
>>     
>
> Судя по твоему письму у тебя вообще опыта в администрировании серверов
> никакого, что еще хуже нет еще и теоретической базы. И что бы ответить
> на твои вопросы придется читать тебе много часовую лекцию.
>
>   
>> 1. Модем настроен роутером и адрес Ethernet интерфейса "серый" -
>> 192.168.101.254.
>> 2. На сервере, который является шлюзом и будет резать всякую гадость,
>> две сетевые карты (посредством одной он соединяется с модемом: адрес 
>> интерфейса 192.168.101.253, а посресдством второй: адрес интефейса 
>> 192.168.1.1 - соединяется с локальной сетью, интернет контент для 
>> которой будет фильтроваться)
>>     
>
> Для  начала,  я  бы  тебе  посоветовал не использовать для своих сетей
> адреса  из  192.168.0.0/24  и  192.168.1.0/24.  Долгое сидение на ADSL
> своего провайдера четко навели меня на эту мысль.
>
> Если  у тебя правильный провайдер, и PPPoE, то адреса DNS модем должен
> получать   автоматом.   Нормальный   модем  умеет  их  использовать  и
> становится  DNS  сервером.  Имеено модем будет DNS сервером для твоего
> сервера.  То  есть,  адреса  DNS  серверов  провайдера прописываются в
> модеме автоматом. Если этого не происходит, то только тогда в вручную.
>
> Теперь  ты  должен  поднять  DNS  сервер у себя на сервере. Для начала
> простой  кэширующий.  Очень  желательное,  но  не  очень  обязательное
> условие. Из-за криворуких админов моего провайдера, лично мне пришлось
> настраивать  полноценный DNS сервер, что бы не использовать DNS адреса
> провайдера.  Для  поднятия  собственного  полноценного  DNS есть масса
> других  причин.  При наличие локальной сети очень желательно поднять у
> себя  DHCP сервер. Если в локальной сети используется ОС Windows и нет
> сервера на базе Windows, то очень желательно поднять у себя еще и WINS
> сервер (Читай про самбу), в DNS прописать прямые и обратные зоны (т.е.
> простым  кэширующим сервером DNS уже не отделаешься), и заставить DHCP
> сервер  обновлять  эти  зоны  в  DNS.  Это  все  очень желательные, но
> необязательные условия.
>
>   
>> Указывал через route маршруты до ДНС провайдера через модем - не
>> помогло, работают только ДНС запросы :(((
>>     
>
> Что бы что-то трафик из локальной сети с серыми ИП мог уйти за пределы
> этой   локальной  сети,  на  сервере  который  является  шлюзом  нужно
> настроить NAT. Читаем про iptables до просветления. Если маршрутизация
> настроена  правильно,  но ничего добавлять в таблицы роутинга ненужно.
> Настраиваем,  пробуем пинговать внешние ресурсы, пингуется, значит все
> здорово.
>
> Теперь  нужно  запретить весь трафик из локальной сети наружу. Этим ты
> запретишь  и  доступ  к  внешним  WEB  серверам.  Настраиваем, пробуем
> пинговать внешние ресурсы, НЕ пингуется, значит все здорово.
>
> Теперь  думаем, что можно пускать наружу. Переписываем все программное
> обеспечение  используемое  в  локальной  сети которое не умеет, или не
> должно   ходить  через  прокси,  но  должно  ходить  наружу.  К  таким
> программам  относятся почтовые клиенты, аска (по желанию), клиенты DNS
> (по  настройкам  сервера).  Смотрим  какие  протоколы  и  какие  порты
> используют  серверы  этих  программ, и открываем их. За одно открываем
> ICMP протокол. Теперь пробуем пинговать внешние ресурсы, и открыть WEB
> страничку.  Пинги  опять  идут,  но  странички открываются. Значит все
> здорово.
>
> Только теперь переходим к настройкам сквида. Сначала настраиваем его,
> потом прикручиваем авторизацию, что бы знать кто и куда ходит. Потом
> прикручиваем стоп лист.
>
> Статистика  посещений  пишется  в лог, но читать ее там, это мазохизм.
> Прикручиваем анализатор трафика. Тебе уже советовали ЛичСквид. Я лично
> его использую, ставится из бранча и работает при минимальной доводке.
>
> Что  бы  увидеть  эту  статистику,  тебе придется поднимать у себя веб
> сервер.  Это  уже  отдельная  песня.  И  в  первый раз аппач ты будишь
> настраивать очень долго. Но дело полезное.
>
>   
>> Заранее благодарен за помощь!!!
>>     
>
> И  прежде  чем  делать  все  это, я очень рекомендую почитать об общих
> принципах  организации  сетей, маршрутизации и прочем. Если тебе нужно
> все  это  сделать  быстро, то лучше найми кого-нибудь. С твоим уровнем
> знаний за пару недель не уложишься.
>
>   
Согласен с тем, что опыта у меня довольно-таки немного.
А вот нанимать кого-то для этого дела.... С этим я не согласен, 
поскольку это убдет просто уход от проблемы а не её решение. Зачем же 
тогда я устраивался на такую должность?!