[Comm] help with squid

[Comm] help with squid

[Andriy Dobrovol's'kii]

Hi,
Нужна срочная помощь. Какой командой заставить squid 
построить кеш заново в соответствии с изменившимися 
установками конфига? Локальная документация отсутствует, а в 
сеть не выйти из-за заткнувшегося squid. :((
-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] help with squid

[Andriy Dobrovol's'kii]

Andriy Dobrovol's'kii wrote:
> Hi,
> Нужна срочная помощь. Какой командой заставить squid построить кеш 
> заново в соответствии с изменившимися установками конфига? Локальная 
> документация отсутствует, а в сеть не выйти из-за заткнувшегося squid. :((

И где прописывается, что все должны ходить в сеть только 
через squid? Вопросы относятся к FreeBSD, но спросить сейчас 
больше негде. :((

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] help with squid

[Sergey Vlasov]

On Wed, Oct 16, 2002 at 10:57:23 +0300, Andriy Dobrovol's'kii wrote:
> Нужна срочная помощь. Какой командой заставить squid 
> построить кеш заново в соответствии с изменившимися 
> установками конфига? Локальная документация отсутствует, а в 
> сеть не выйти из-за заткнувшегося squid. :((

squid --help утверждает, что squid -z.

Re: [Comm] help with squid

[Sergey Vlasov]

On Wed, Oct 16, 2002 at 11:20:04 +0300, Andriy Dobrovol's'kii wrote:
> Andriy Dobrovol's'kii wrote:
> >Hi,
> >Нужна срочная помощь. Какой командой заставить squid построить кеш 
> >заново в соответствии с изменившимися установками конфига? Локальная 
> >документация отсутствует, а в сеть не выйти из-за заткнувшегося squid. :((
> 
> И где прописывается, что все должны ходить в сеть только 
> через squid? Вопросы относятся к FreeBSD, но спросить сейчас 
> больше негде. :((

А вот это уже относится не к squid, а к IP-маршрутизации/NAT/как там оно
называется. Придется спрашивать у БСДшников - там средства свои.

Re: [Comm] help with squid

[Andriy Dobrovol's'kii]

Sergey Vlasov wrote:
> On Wed, Oct 16, 2002 at 10:57:23 +0300, Andriy Dobrovol's'kii wrote:
> 
>>Нужна срочная помощь. Какой командой заставить squid 
>>построить кеш заново в соответствии с изменившимися 
>>установками конфига? Локальная документация отсутствует, а в 
>>сеть не выйти из-за заткнувшегося squid. :((
> 
> 
> squid --help утверждает, что squid -z.
> 

Да. Спасибо. Это я раскопал. Может просветите как поступают 
с логами сквида? Лечить нужно срочно, а доки пока не 
просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
снова будет падать. :(((

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] help with squid

[Andrew Nazarkin]

On Wed, 16 Oct 2002 17:59:17 +0300
"Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:

> Sergey Vlasov wrote:
> > On Wed, Oct 16, 2002 at 10:57:23 +0300, Andriy Dobrovol's'kii wrote:
> > 
> >>Нужна срочная помощь. Какой командой заставить squid 
> >>построить кеш заново в соответствии с изменившимися 
> >>установками конфига? Локальная документация отсутствует, а в 
> >>сеть не выйти из-за заткнувшегося squid. :((
> > 
> > 
> > squid --help утверждает, что squid -z.
> > 
> 
> Да. Спасибо. Это я раскопал. Может просветите как поступают 
> с логами сквида? Лечить нужно срочно, а доки пока не 
> просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
> снова будет падать. :(((
> 

logrotate

> -- 
> Rgrds,
> Andriy
> *********************************************************************
> email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
> Phone: (380-44)   265-7824               Department of Gas 
> Electronics
> Fax:   (380-44)   265-2329                Institute of 
> Physics of NASU
> *********************************************************************
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> http://www.altlinux.ru/mailman/listinfo/community

Re: [Comm] help with squid

[Andriy Dobrovol's'kii]

Andrew Nazarkin wrote:
> On Wed, 16 Oct 2002 17:59:17 +0300
> "Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:
> 
> 
>>Sergey Vlasov wrote:
>>
>>>On Wed, Oct 16, 2002 at 10:57:23 +0300, Andriy Dobrovol's'kii wrote:
>>>
>>>
>>>>Нужна срочная помощь. Какой командой заставить squid 
>>>>построить кеш заново в соответствии с изменившимися 
>>>>установками конфига? Локальная документация отсутствует, а в 
>>>>сеть не выйти из-за заткнувшегося squid. :((
>>>
>>>
>>>squid --help утверждает, что squid -z.
>>>
>>
>>Да. Спасибо. Это я раскопал. Может просветите как поступают 
>>с логами сквида? Лечить нужно срочно, а доки пока не 
>>просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
>>снова будет падать. :(((
>>
> 
> 
> logrotate
> 
> 
Спасибо. Пошел смотреть. Но, может дадите пока пожарные 
инструкции.

А то, пока я буду читать, оно снова грохнется и Институт 
окажется на голодном пайке.
Итак два дня сидели без Интернета.

  :(

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] help with squid

[Valentin Nechayev]

 Wed, Oct 16, 2002 at 17:59:17, dobr wrote about "Re: [Comm] help with squid": 

> >>Нужна срочная помощь. Какой командой заставить squid 
> >>построить кеш заново в соответствии с изменившимися 
> >>установками конфига? Локальная документация отсутствует, а в 
> >>сеть не выйти из-за заткнувшегося squid. :((

Что значит "построить кэш заново"?
Если просто создать каталоги - squid -z.
Если swap state кривой - убить его, при старте squid пересоздаст.
Если в кэше кривые объекты (ой не верю что конфиг такое создаст) -
убить их.

> Да. Спасибо. Это я раскопал. Может просветите как поступают 
> с логами сквида? Лечить нужно срочно, а доки пока не 
> просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
> снова будет падать. :(((

squid -k rotate.
Рекомендованный тут logrotate - не то, нехороший метод, потому что не родной
метод.


/netch

Re: [Comm] help with squid

[Valentin Nechayev]

 Wed, Oct 16, 2002 at 11:20:04, dobr wrote about "Re: [Comm] help with squid": 

> И где прописывается, что все должны ходить в сеть только 
> через squid? Вопросы относятся к FreeBSD, но спросить сейчас 
> больше негде. :((

Поищи по "transparent proxy HOWTO".
Ну или зафайрволль все иные выходы. Но это годится только для стандартных
портов, фактически - только для порта 80. Иначе, любой nat/socks/...
будет давать возможность такого выхода.
Вообще, задача в общем случае близка к нереальной.


/netch

Re: [Comm] help with squid

[Valentin Nechayev]

 Wed, Oct 16, 2002 at 10:57:23, dobr wrote about "[Comm] help with squid": 

> Нужна срочная помощь. Какой командой заставить squid 
> построить кеш заново в соответствии с изменившимися 
> установками конфига? Локальная документация отсутствует, а в 
> сеть не выйти из-за заткнувшегося squid. :((

Вдогонку. Покажи хвост cache.log, где он рассказывает, от чего упал.


/netch

Re: [Comm] help with squid

[Andrew Nazarkin]

On Wed, 16 Oct 2002 18:42:28 +0300
"Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:

> Andrew Nazarkin wrote:
> > On Wed, 16 Oct 2002 17:59:17 +0300
> > "Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:
> > 
> > 
> >>Sergey Vlasov wrote:
> >>
> >>>On Wed, Oct 16, 2002 at 10:57:23 +0300, Andriy Dobrovol's'kii
> >wrote:>>
> >>>
> >>>>Нужна срочная помощь. Какой командой заставить squid 
> >>>>построить кеш заново в соответствии с изменившимися 
> >>>>установками конфига? Локальная документация отсутствует, а в 
> >>>>сеть не выйти из-за заткнувшегося squid. :((
> >>>
> >>>
> >>>squid --help утверждает, что squid -z.
> >>>
> >>
> >>Да. Спасибо. Это я раскопал. Может просветите как поступают 
> >>с логами сквида? Лечить нужно срочно, а доки пока не 
> >>просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
> >>снова будет падать. :(((
> >>

О, господи!
service squid stop
cd /var/log/squid
mv access.log access.log.0
touch access.log
chown squid.squid access.log
service squid start

> > 
> > 
> > logrotate
> > 
> > 
> Спасибо. Пошел смотреть. Но, может дадите пока пожарные 
> инструкции.
> 
> А то, пока я буду читать, оно снова грохнется и Институт 
> окажется на голодном пайке.
> Итак два дня сидели без Интернета.
> 
>   :(
> 
> -- 
> Rgrds,
> Andriy
> *********************************************************************
> email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
> Phone: (380-44)   265-7824               Department of Gas 
> Electronics
> Fax:   (380-44)   265-2329                Institute of 
> Physics of NASU
> *********************************************************************
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> http://www.altlinux.ru/mailman/listinfo/community

[Comm] Re: help with squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 1309 bytes --]

On Wed, 16 Oct 2002 18:44:57 +0300
Valentin Nechayev <netch@netch.kiev.ua> wrote:

>  Wed, Oct 16, 2002 at 17:59:17, dobr wrote about "Re: [Comm]
>  help with squid": 
> 
> > >>Нужна срочная помощь. Какой командой заставить squid 
> > >>построить кеш заново в соответствии с изменившимися 
> > >>установками конфига? Локальная документация отсутствует, а
> > >в >сеть не выйти из-за заткнувшегося squid. :((
> 
> Что значит "построить кэш заново"?
> Если просто создать каталоги - squid -z.
> Если swap state кривой - убить его, при старте squid
> пересоздаст. Если в кэше кривые объекты (ой не верю что конфиг
> такое создаст) - убить их.
> 
> > Да. Спасибо. Это я раскопал. Может просветите как поступают 
> > с логами сквида? Лечить нужно срочно, а доки пока не 
> > просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
> > снова будет падать. :(((
> 
> squid -k rotate.
> Рекомендованный тут logrotate - не то, нехороший метод, потому
> что не родной метод.

Аргументируйте, пожалуйста.
Настройки logrotate для squid используют 'squid -k rotate'.

Проблема в том, что жаждущий помощи обычно выражает это детальным
описанием проблемы. Из оригинального письма, IMHO, этого не
видно.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[Comm] Re: help with squid

[Valentin Nechayev]

 Wed, Oct 16, 2002 at 19:51:39, vyt wrote about "[Comm] Re: help with squid": 

> > squid -k rotate.
> > Рекомендованный тут logrotate - не то, нехороший метод, потому
> > что не родной метод.
> Аргументируйте, пожалуйста.
> Настройки logrotate для squid используют 'squid -k rotate'.

Покажите пример, пожалуйста, реального конфига для logrotate с этим.
А то очень странно получается.

> Проблема в том, что жаждущий помощи обычно выражает это детальным
> описанием проблемы. Из оригинального письма, IMHO, этого не
> видно.

Это как-то влияет на данный вопрос?


/netch

Re: [Comm] Re: help with squid

[Andrew Nazarkin]

On Wed, 16 Oct 2002 19:51:39 +0400
Vitaly Ostanin <vyt@vzljot.ru> wrote:

> On Wed, 16 Oct 2002 18:44:57 +0300
> Valentin Nechayev <netch@netch.kiev.ua> wrote:
> 
> >  Wed, Oct 16, 2002 at 17:59:17, dobr wrote about "Re: [Comm]
> >  help with squid": 
> > 
> > > >>Нужна срочная помощь. Какой командой заставить squid 
> > > >>построить кеш заново в соответствии с изменившимися 
> > > >>установками конфига? Локальная документация отсутствует, а
> > > >в >сеть не выйти из-за заткнувшегося squid. :((
> > 
> > Что значит "построить кэш заново"?
> > Если просто создать каталоги - squid -z.
> > Если swap state кривой - убить его, при старте squid
> > пересоздаст. Если в кэше кривые объекты (ой не верю что конфиг
> > такое создаст) - убить их.
> > 
> > > Да. Спасибо. Это я раскопал. Может просветите как поступают 
> > > с логами сквида? Лечить нужно срочно, а доки пока не 
> > > просветили. :(( Лог уже перешел отметку в 3Гб. :(( Щас сквид 
> > > снова будет падать. :(((
> > 
> > squid -k rotate.
> > Рекомендованный тут logrotate - не то, нехороший метод, потому
> > что не родной метод.
> 
> Аргументируйте, пожалуйста.
> Настройки logrotate для squid используют 'squid -k rotate'.
> 
> Проблема в том, что жаждущий помощи обычно выражает это детальным
> описанием проблемы. Из оригинального письма, IMHO, этого не
> видно.

Во-во!
Складывается впечатление, что человек со сквидом даже не на Вы :(
И logrotate как раз ему больше поможет, или Вы думаете, что он с ружом
будет сидеть и делать каждый раз squid -k rotate? ;) (может, канешна-а,
догадается в cron засунуть ;)
А в следующий раз он скажет, что у него maillog размером с терабайт...
И последнее мое письмо товарищу именно полумера, чтобы "быстро и
красиво". И более правильный путь - именно logrotate - "засунул и забыл"
;)

> 
> <skipped/>
> 
> -- 
> Regards, Vyt
> mailto:  vyt@vzljot.ru
> JID:     vyt@vzljot.ru

[Comm] Re: help with squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 1005 bytes --]

On Wed, 16 Oct 2002 18:54:36 +0300
Valentin Nechayev <netch@netch.kiev.ua> wrote:

>  Wed, Oct 16, 2002 at 19:51:39, vyt wrote about "[Comm] Re:
>  help with squid": 
> 
> > > squid -k rotate.
> > > Рекомендованный тут logrotate - не то, нехороший метод,
> > > потому что не родной метод.
> > Аргументируйте, пожалуйста.
> > Настройки logrotate для squid используют 'squid -k rotate'.
> 
> Покажите пример, пожалуйста, реального конфига для logrotate с
> этим. А то очень странно получается.

/etc/logrotate.d/squid :
...
    postrotate
      /usr/sbin/squid -k rotate
    endscript
...

> > Проблема в том, что жаждущий помощи обычно выражает это
> > детальным описанием проблемы. Из оригинального письма, IMHO,
> > этого не видно.
> 
> Это как-то влияет на данный вопрос?

На оригинальный - да. Сложно помочь, не зная логов, описания сети
и не собирая их из разных писем, а помочь хочется.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: help with squid

[Andriy Dobrovol's'kii]

Vitaly Ostanin wrote:

> Проблема в том, что жаждущий помощи обычно выражает это детальным
> описанием проблемы. Из оригинального письма, IMHO, этого не
> видно.
> 
> <skipped/>
> 
Ок. Даю детальное описание проблемы.
Есть сервер на FreeBSD со сквидом и почтой. Почта работает. 
Сквид в определенный момент ушел в даун.
Раскопки показали, что проблема  кешем. Он установлен в 
/usr/local/squid/cache. Под него выделено 2Гб и места в 
разделе на момент падения уже не было, хотя кеш до 2Гб еще 
похоже не дошел.
Срочно был уменьшен размер кеша. Кеш уничтожен и создан 
заново с меньшими параметрами. Дальше обнаружился файл лога 
размером более 2Гб. Возник вопрос как его тоже обнулить и 
как избежать такой ситуации в дальнейшем? Так проблема 
понятна? Или сообщить ещё какие-то подробности?


-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] Re: help with squid

[Andriy Dobrovol's'kii]

Andrew Nazarkin wrote:
> 
> 
> Во-во!
> Складывается впечатление, что человек со сквидом даже не на Вы :(
> И logrotate как раз ему больше поможет, или Вы думаете, что он с ружом
> будет сидеть и делать каждый раз squid -k rotate? ;) (может, канешна-а,
> догадается в cron засунуть ;)
> А в следующий раз он скажет, что у него maillog размером с терабайт...
> И последнее мое письмо товарищу именно полумера, чтобы "быстро и
> красиво". И более правильный путь - именно logrotate - "засунул и забыл"
> ;)
> 

Правильное впечатление. Я про него вообще на прошлой неделе 
впервые услышал.
Прсто у нас сейчас нет админа на узле. Уволился. Я 
единственный кто про юних хоть слышал. На рабочем месте у 
меня Мастер 2.0. Вот и попросили присматривать за узлом до 
решения проблемы. А тут начались хохмы. И приходится лечить 
ситуацию и учиться одновременно. :((( Не самое приятное 
занятие я вам скажу. Я ведь еще и своей прямой работой 
заниматься хочу, а не только администрированием.




-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

[Comm] Re: help with squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 1451 bytes --]

On Wed, 16 Oct 2002 19:05:30 +0300
"Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:

> Vitaly Ostanin wrote:
> 
> > Проблема в том, что жаждущий помощи обычно выражает это
> > детальным описанием проблемы. Из оригинального письма, IMHO,
> > этого не видно.
> > 
> > <skipped/>
> > 
> Ок. Даю детальное описание проблемы.
> Есть сервер на FreeBSD со сквидом и почтой. Почта работает. 
> Сквид в определенный момент ушел в даун.
> Раскопки показали, что проблема  кешем. Он установлен в 
> /usr/local/squid/cache. Под него выделено 2Гб и места в 
> разделе на момент падения уже не было, хотя кеш до 2Гб еще 
> похоже не дошел.

Деталей не скажу, но знакомая рассказывала про знакомую проблему
на FreeBSD - место уходит непонятно куда.

> Срочно был уменьшен размер кеша. Кеш уничтожен и создан 

Уменьшен в конфиге? Вы уверены, что не ошиблись опцией? Какая
версия squid?

> заново с меньшими параметрами. Дальше обнаружился файл лога 

С какими параметрами?

> размером более 2Гб. Возник вопрос как его тоже обнулить и 
> как избежать такой ситуации в дальнейшем? Так проблема 

Лог чего именно? Их там три. Что значит обнулить? Удалить? 
Как избежать - найти проблему и запинать. Лично у меня были
проблемы с разрастанием store.log после частых перезапусков
демона, лечились его прибиванием, глубоко не копал за
ненадобностью.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: help with squid

[Andriy Dobrovol's'kii]

Vitaly Ostanin wrote:
> On Wed, 16 Oct 2002 18:54:36 +0300
> Valentin Nechayev <netch@netch.kiev.ua> wrote:
> 
> 
>> Wed, Oct 16, 2002 at 19:51:39, vyt wrote about "[Comm] Re:
>> help with squid": 
>>
>>
>>>>squid -k rotate.
>>>>Рекомендованный тут logrotate - не то, нехороший метод,
>>>>потому что не родной метод.
>>>
>>>Аргументируйте, пожалуйста.
>>>Настройки logrotate для squid используют 'squid -k rotate'.
>>
>>Покажите пример, пожалуйста, реального конфига для logrotate с
>>этим. А то очень странно получается.
> 
> 
> /etc/logrotate.d/squid :
> ...
>     postrotate
>       /usr/sbin/squid -k rotate
>     endscript
> ...
> 
> 
>>>Проблема в том, что жаждущий помощи обычно выражает это
>>>детальным описанием проблемы. Из оригинального письма, IMHO,
>>>этого не видно.
>>
>>Это как-то влияет на данный вопрос?
> 
> 
> На оригинальный - да. Сложно помочь, не зная логов, описания сети
> и не собирая их из разных писем, а помочь хочется.
> 
> <skipped/>
> 

А знали б Вы как мне хочется эту помощь получить!!!!!
Скажите, что я должен сообщить и я с радостью. Я только 
вторую неделю админ и все время на пожаре...
Помогите понять что к чему.

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] Re: help with squid

[Andrew Nazarkin]

On Wed, 16 Oct 2002 19:05:30 +0300
"Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:

> Vitaly Ostanin wrote:
> 
> > Проблема в том, что жаждущий помощи обычно выражает это детальным
> > описанием проблемы. Из оригинального письма, IMHO, этого не
> > видно.
> > 
> > <skipped/>
> > 
> Ок. Даю детальное описание проблемы.
> Есть сервер на FreeBSD со сквидом и почтой. Почта работает. 
> Сквид в определенный момент ушел в даун.
> Раскопки показали, что проблема  кешем. Он установлен в 
> /usr/local/squid/cache. Под него выделено 2Гб и места в 
> разделе на момент падения уже не было, хотя кеш до 2Гб еще 
> похоже не дошел.

Вообще-то в конфиге сквида можно (и нужно) указать сколько процентов от
выделенного пространства под кеш он может занимать. Т.е. при превышении
процентного пространства сквид сам чистит кеш:

#  TAG: cache_swap_low  (percent, 0-100)
#  TAG: cache_swap_high (percent, 0-100)
#
#       The low- and high-water marks for cache object replacement.
#       Replacement begins when the swap (disk) usage is above the
#       low-water mark and attempts to maintain utilization near the
#       low-water mark.  As swap utilization gets close to high-water
#       mark object eviction becomes more aggressive.  If utilization is
#       close to the low-water mark less replacement is done each time.
#
#       Defaults are 90% and 95%. If you have a large cache, 5% could be
#       hundreds of MB. If this is the case you may wish to set these
#       numbers closer together.
#
cache_swap_low  90
cache_swap_high 95

> Срочно был уменьшен размер кеша. Кеш уничтожен и создан 
> заново с меньшими параметрами. Дальше обнаружился файл лога 
> размером более 2Гб. Возник вопрос как его тоже обнулить и 
> как избежать такой ситуации в дальнейшем? Так проблема 
> понятна? Или сообщить ещё какие-то подробности?
Ну не кипятитесь Вы так ;)
Просто действительно слова "упал сквид, помогите поднять!" не очень
содержательны, согласитесь ;)
Ну а по поводу logrotate - если не хотите с ним связываться, напишите
свой скрипт, включив в него эти самые команды mv, touch и т.п. и
заставьте крон выполнять его.
Собственно логротате - это просто сильно расширенный набор подобных
скриптов, он делает тоже самое, только (по умолчанию) он "сдвигает"
предыдущие логи, access.log становится, к примеру access.log.0, тот,
который был access.log.0 становится access.log.1 и так до 5. Тот,
который был до этого пятым - убивается. Таким образом, выполняя такой
скрипт раз в неделю получаем логи за месяц. Все, что старше - убивается.
Ну, и конечно, старые логи архивируются. Конечно, количество логов можно
поменять самому.

Ну, вот.. Вроде и все ;)
> 
> 
> -- 
> Rgrds,
> Andriy
> *********************************************************************
> email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
> Phone: (380-44)   265-7824               Department of Gas 
> Electronics
> Fax:   (380-44)   265-2329                Institute of 
> Physics of NASU
> *********************************************************************
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> http://www.altlinux.ru/mailman/listinfo/community

[Comm] Re: help with squid

[Valentin Nechayev]

 Wed, Oct 16, 2002 at 20:12:51, vyt wrote about "[Comm] Re: help with squid": 

> > Ок. Даю детальное описание проблемы.
> > Есть сервер на FreeBSD со сквидом и почтой. Почта работает. 
> > Сквид в определенный момент ушел в даун.
> > Раскопки показали, что проблема  кешем. Он установлен в 
> > /usr/local/squid/cache. Под него выделено 2Гб и места в 
> > разделе на момент падения уже не было, хотя кеш до 2Гб еще 
> > похоже не дошел.
> Деталей не скажу, но знакомая рассказывала про знакомую проблему
> на FreeBSD - место уходит непонятно куда.

Гм. Такого обычно не бывает. Может быть одно из:
1. Временные файлы (создали и удалили, не закрыв).
Проблема тяжелейшая в плане диагностики (обычно fuser, fstat и прочие
не дают достаточно информации, по размерам файлов и прочему - или я отстал
от жизни?)
2. Простой неучет резерва рута.
3. FreeBSD-specific (в отличие от двух первых) - softupdates - место
освобождается за ближайшие 30 секунд. В последних версиях ускорено (если
кого-то готовы обломать по недостатку места, кэш удалений softupdates
сбрасывается)

У сквида ранее наблюдалось, что он проверяет границы заполнения места
(и активацию удаления старых объектов) независимо от уровня потребности
в месте на диске. В результате, недокачанный объект большого размера приводил
к вылезанию за пределы допустимого пространства.
При больших кэшах (например, 15G) мы это лечили просто запасом в пару сотен мег.


/netch

Re: [Comm] Re: help with squid

[Andriy Dobrovol's'kii]

Andrew Nazarkin wrote:
> On Wed, 16 Oct 2002 19:05:30 +0300
> "Andriy Dobrovol's'kii" <dobr@iop.kiev.ua> wrote:
> 
> 
>>Vitaly Ostanin wrote:
>>
>>
>>>Проблема в том, что жаждущий помощи обычно выражает это детальным
>>>описанием проблемы. Из оригинального письма, IMHO, этого не
>>>видно.
>>>
>>><skipped/>
>>>
>>Ок. Даю детальное описание проблемы.
>>Есть сервер на FreeBSD со сквидом и почтой. Почта работает. 
>>Сквид в определенный момент ушел в даун.
>>Раскопки показали, что проблема  кешем. Он установлен в 
>>/usr/local/squid/cache. Под него выделено 2Гб и места в 
>>разделе на момент падения уже не было, хотя кеш до 2Гб еще 
>>похоже не дошел.
> 
> 
> Вообще-то в конфиге сквида можно (и нужно) указать сколько процентов от
> выделенного пространства под кеш он может занимать. Т.е. при превышении
> процентного пространства сквид сам чистит кеш:
> 
> #  TAG: cache_swap_low  (percent, 0-100)
> #  TAG: cache_swap_high (percent, 0-100)
> #
> #       The low- and high-water marks for cache object replacement.
> #       Replacement begins when the swap (disk) usage is above the
> #       low-water mark and attempts to maintain utilization near the
> #       low-water mark.  As swap utilization gets close to high-water
> #       mark object eviction becomes more aggressive.  If utilization is
> #       close to the low-water mark less replacement is done each time.
> #
> #       Defaults are 90% and 95%. If you have a large cache, 5% could be
> #       hundreds of MB. If this is the case you may wish to set these
> #       numbers closer together.
> #
> cache_swap_low  90
> cache_swap_high 95
> 
> 
>>Срочно был уменьшен размер кеша. Кеш уничтожен и создан 
>>заново с меньшими параметрами. Дальше обнаружился файл лога 
>>размером более 2Гб. Возник вопрос как его тоже обнулить и 
>>как избежать такой ситуации в дальнейшем? Так проблема 
>>понятна? Или сообщить ещё какие-то подробности?
> 
> Ну не кипятитесь Вы так ;)

Андрей, чесное слово, я не киплю. Если тон показался резким, 
то прошу прощения. Это было просто изложение ситуации и 
вопрос, чего там не хватает. Я ж понимаю, что тяжело лечить 
подземный стук, а что сообщать не в курсе.

> Просто действительно слова "упал сквид, помогите поднять!" не очень
> содержательны, согласитесь ;)

Да. Да. Да. :)))

> Ну а по поводу logrotate - если не хотите с ним связываться, напишите
> свой скрипт, включив в него эти самые команды mv, touch и т.п. и
> заставьте крон выполнять его.

Почему не хочу?! Кто сказал! Просто, пока, не умею. Не было 
надобности. Обязательно посмотрю и поучусь. Просто, сейчас, 
нужно было тушить пожар, а теперь есть пауза, чтоб понять 
как должно быть. :)

> Собственно логротате - это просто сильно расширенный набор подобных
> скриптов, он делает тоже самое, только (по умолчанию) он "сдвигает"
> предыдущие логи, access.log становится, к примеру access.log.0, тот,
> который был access.log.0 становится access.log.1 и так до 5. Тот,
> который был до этого пятым - убивается. Таким образом, выполняя такой
> скрипт раз в неделю получаем логи за месяц. Все, что старше - убивается.
> Ну, и конечно, старые логи архивируются. Конечно, количество логов можно
> поменять самому.
> 
> Ну, вот.. Вроде и все ;)
> 
>>
> 

Спасибо! Будем копать. Похоже, что там если и сдвигается, то 
раз в месяц, не чаще. Или мы так активно бегаем по сети при 
канале 64К. :)

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] Re: help with squid

[Sergey Vlasov]

On Wed, Oct 16, 2002 at 20:05:09 +0400, Vitaly Ostanin wrote:
> On Wed, 16 Oct 2002 18:54:36 +0300
> Valentin Nechayev <netch@netch.kiev.ua> wrote:
> 
> >  Wed, Oct 16, 2002 at 19:51:39, vyt wrote about "[Comm] Re:
> >  help with squid": 
> > 
> > > > squid -k rotate.
> > > > Рекомендованный тут logrotate - не то, нехороший метод,
> > > > потому что не родной метод.
> > > Аргументируйте, пожалуйста.
> > > Настройки logrotate для squid используют 'squid -k rotate'.
> > 
> > Покажите пример, пожалуйста, реального конфига для logrotate с
> > этим. А то очень странно получается.
> 
> /etc/logrotate.d/squid :
> ...
>     postrotate
>       /usr/sbin/squid -k rotate
>     endscript
> ...

Только не забудьте прописать при этом в squid.conf опцию logfile_rotate 0,
чтобы squid только переоткрывал логи, но не занимался их ротацией сам.
Иначе получится ерунда.

А преимущество у logrotate - например, он умеет сжимать старые логи.

Re: [Comm] help with squid

[Ilya Palagin]

Andrew Nazarkin wrote:
> 
> О, господи!
> service squid stop
> cd /var/log/squid
> mv access.log access.log.0
> touch access.log
> chown squid.squid access.log
> service squid start
> 
> 
Никогда не поступайте так с логами!
В данном случае обратите внимание, что
/var/log/squid/access.log имеет владельца squid.squid.
Созданный будет во владении root.root, и squid не
сможет туда ничего записать. Могут быть и другие
специфические для файла атрибуты.

Если уж надо почистить log вручную, делайте так:
  >log_file

В нашем случае лог вообще в тягость, так что:
ln -s /dev/null /var/log/squid/access.log

Re: [Comm] help with squid

[Andrew Nazarkin]

On Wed, 16 Oct 2002 23:55:27 +0700
Ilya Palagin <tux@fioc.kz> wrote:

> Andrew Nazarkin wrote:
> > 
> > О, господи!
> > service squid stop
> > cd /var/log/squid
> > mv access.log access.log.0
> > touch access.log
> > chown squid.squid access.log
> > service squid start
> > 
> > 
> Никогда не поступайте так с логами!
> В данном случае обратите внимание, что
> /var/log/squid/access.log имеет владельца squid.squid.
> Созданный будет во владении root.root, и squid не
> сможет туда ничего записать.

Специально для слепых, БОЛЬШИМИ БУКВАМИ:
CHOWN SQUID.SQUD ACCESS.LOG !!!!!! 

Не надо лишних проблем товарищу создавать. Он и так "на пожаре"!

 Могут быть и другие
> специфические для файла атрибуты.
> 
> Если уж надо почистить log вручную, делайте так:
>   >log_file
> 
> В нашем случае лог вообще в тягость, так что:
> ln -s /dev/null /var/log/squid/access.log

А вот это вообще преступление!
Давайте уж тогда все логи в /dev/null ?
А что? В тягость же. 
А потом человек захотел посмотреть, что у него там не работает, а логи
все тю-тю. И syslogd не забыть прибить и сделать на него rm -f :)
А потом окажется, что у него статистика через сквид считается, а
предыдущий админ его предупредить об этом "забыл".
Человек дал конкретную проблему. Ему объяснили как быстро "единоразово"
ее решить, причем по-буквам, предупредив что правильный путь -
logrotate.

А Вы ему: "Суй логи в /dev/null и чувствуй себя сухо и комфортно!"
*NIX тем и хорош, что там все логируется. А не "программа выполнила
недопустимую Биллом Гейтсом операцию и будет закрыта. Код ошибки
89767260878786728093768237489075690873249076-9324769=3" :-))))

Давайте не будем учить новичков сразу неправильным действиям!

> 
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> http://www.altlinux.ru/mailman/listinfo/community

Re: [Comm] help with squid

[Andriy Dobrovol's'kii]

Andrew Nazarkin wrote:
> On Wed, 16 Oct 2002 23:55:27 +0700
> Ilya Palagin <tux@fioc.kz> wrote:

Всем спасибо за помощь. Только вот беда. Не жилец у меня 
этот сквид что-то. Только вычистил ему место на диске как 
сегодня с утра напарник по узлу перезагрузил все сервера. 
Пол дня я искал почему после перезагрузки не работает DNS. 
Так и не нашел ничего. Выключил обе машины и по очереди 
включил. Маршрутизатор с DNS зарапотали как положено. Но, 
машина со сквидом и почтой, все равно DNS не видит. Попытка 
пропинговать с нее любую сетевую машину по адресу IP идет на 
ура, а по имени полный отлуп. Сквид при запуске четырежды 
говорит:
2002/10/17 14:50:01| Starting Squid Cache version 
2.4.STABLE7 for i386-unknown-freebsd4.3... 

2002/10/17 14:50:01| Process ID 355 

2002/10/17 14:50:01| With 256 file descriptors available 

2002/10/17 14:50:01| Performing DNS Tests... 

FATAL: ipcache_init: DNS name lookup tests failed. 

Squid Cache (Version 2.4.STABLE7): Terminated abnormally. 

CPU Usage: 0.011 seconds = 0.011 user + 0.000 sys 

Maximum Resident Size: 880 KB 

Page faults with physical i/o: 0 


И идет в даун.
Результат всего этого, никто не может не только выйти в 
сеть, но и почту прочесть.
Может кто-то сказать куда копать? У меня уже "крыша едет"...

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] help with squid

[Andriy Dobrovol's'kii]

Видать я жутко везучий. ;(
Хотя никто ничего не подсказал, оно само все заработало так 
же как перед тем капризничало.

Можно средствами squid ограничить объём получаемых 
пользователями данных? (За месяц)

Andriy Dobrovol's'kii wrote:
> Andrew Nazarkin wrote:
> 
>> On Wed, 16 Oct 2002 23:55:27 +0700
>> Ilya Palagin <tux@fioc.kz> wrote:
> 
> 
> Всем спасибо за помощь. Только вот беда. Не жилец у меня этот сквид 
> что-то. Только вычистил ему место на диске как сегодня с утра напарник 
> по узлу перезагрузил все сервера. Пол дня я искал почему после 
> перезагрузки не работает DNS. Так и не нашел ничего. Выключил обе машины 
> и по очереди включил. Маршрутизатор с DNS зарапотали как положено. Но, 
> машина со сквидом и почтой, все равно DNS не видит. Попытка пропинговать 
> с нее любую сетевую машину по адресу IP идет на ура, а по имени полный 
> отлуп. Сквид при запуске четырежды говорит:
> 2002/10/17 14:50:01| Starting Squid Cache version 2.4.STABLE7 for 
> i386-unknown-freebsd4.3...
> 2002/10/17 14:50:01| Process ID 355
> 2002/10/17 14:50:01| With 256 file descriptors available
> 2002/10/17 14:50:01| Performing DNS Tests...
> FATAL: ipcache_init: DNS name lookup tests failed.
> Squid Cache (Version 2.4.STABLE7): Terminated abnormally.
> CPU Usage: 0.011 seconds = 0.011 user + 0.000 sys
> Maximum Resident Size: 880 KB
> Page faults with physical i/o: 0
> 
> И идет в даун.
> Результат всего этого, никто не может не только выйти в сеть, но и почту 
> прочесть.
> Может кто-то сказать куда копать? У меня уже "крыша едет"...
> 



-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua               Kyiv, Ukraine
Phone: (380-44)   265-7824               Department of Gas 
Electronics
Fax:   (380-44)   265-2329                Institute of 
Physics of NASU
*********************************************************************

Re: [Comm] help with squid

[Sergey Vlasov]

On Mon, Oct 21, 2002 at 17:32:00 +0300, Andriy Dobrovol's'kii wrote:
> Можно средствами squid ограничить объём получаемых 
> пользователями данных? (За месяц)

Внешними примочками (например squid2mysql - ставить не пробовал).